JP2017120660A - Image processing device, image processing method and computer program - Google Patents
Image processing device, image processing method and computer program Download PDFInfo
- Publication number
- JP2017120660A JP2017120660A JP2017048880A JP2017048880A JP2017120660A JP 2017120660 A JP2017120660 A JP 2017120660A JP 2017048880 A JP2017048880 A JP 2017048880A JP 2017048880 A JP2017048880 A JP 2017048880A JP 2017120660 A JP2017120660 A JP 2017120660A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cpu
- face
- makeup
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、人物であるユーザを被写体として写真撮影し、撮影結果が出力された所定のシート又はデータを得ることができる撮影遊戯機における画像処理に関し、特に、化粧が施された自然な撮影結果を容易に得ることを可能とする画像処理装置、画像処理方法及びコンピュータプログラムに関する。 The present invention relates to image processing in a shooting game machine capable of taking a photograph of a user as a subject and obtaining a predetermined sheet or data on which the shooting result is output, and in particular, a natural shooting result with makeup applied. The present invention relates to an image processing apparatus, an image processing method, and a computer program.
ユーザが自身を撮影して得られる写真シールシートを排出する装置が撮影遊戯機として提供されている。昨今の撮影遊戯機のユーザには、ユーザ自身がファッションモデル又はアーティストのように変身した写真画像をゲーム感覚で得たいという要望がある。また、実際の生活では派手過ぎてできないようなメイク、又は素材を自身で揃えることが難しいメイク等を含む多様なメイクを種々試すことを手軽に楽しみたいなどの要望がある。このような要望に対応するべく、撮影により得られた画像に対し、種々の加工等の画像処理が行なわれている。例えば、顔認識技術を用いて識別された顔、及び顔の中の目、口、鼻等の部分の大きさ等を、「なりたい顔」として求められているバランスに近づけるように変更する画像処理が行なわれる。また、得られた画像に対してユーザが選択した装飾用のスタンプ画像、ユーザが自由に描画した絵、文字等を重畳させて合成した画像を作成し出力する画像処理が行なわれる。 An apparatus for discharging a photo sticker sheet obtained by a user photographing himself / herself is provided as a photographing game machine. There is a demand for users of recent photographing amusement machines to obtain a photographic image transformed like a fashion model or an artist as if it were a game. In addition, there is a demand for easily enjoying various trials, including makeup that cannot be flashy in actual life, or makeup that makes it difficult to prepare materials by itself. In order to meet such a demand, image processing such as various processing is performed on an image obtained by photographing. For example, image processing that changes the size of the face identified using face recognition technology and the size of the face, eyes, mouth, nose, etc. so that it is close to the balance required for the face you want to be Is done. In addition, image processing is performed in which a decorative stamp image selected by the user, a picture freely drawn by the user, a character, and the like are superimposed on the obtained image to generate and output an image.
ユーザがデジタル画像内で自分自身を変身させたいと思う要望に応えるべく、顔にメイク（化粧）が施される画像処理が実施されている。撮影された画像内の人物の顔領域に対しメイクが施されたような画像処理を行なう技術に関しては、以下のような技術が提案されている。 In order to respond to a user's desire to transform himself / herself in a digital image, image processing is performed in which makeup (makeup) is applied to the face. As a technique for performing image processing such that makeup is applied to the face area of a person in a photographed image, the following techniques have been proposed.
特許文献１には撮影遊戯機に関し、化粧を施す落書きを可能とする発明が開示されている。特許文献１には、撮影により得られた画像を含む落書き用の操作画面に、落書きブラシのパターン及び色をかわいい、クール等のテーマ毎にメイクパレットとして出力し、メイクパレット内からコンセプトを選択し、選択されたテーマのパターン及び色を用いた落書きを受け付け、化粧を施した撮影結果を提供することが提案されている。
特許文献２には撮影遊戯機に関し、撮影された画像内のユーザの唇の部分に口紅を塗ったように画像処理を施すことが提案されている。特に、顔の唇部分を認識して抽出した唇画像を撮影された画像に重畳し、重畳された唇画像の色又はグラデーション等の変更、一部の削除を可能とした構成とすることで、口紅を付けたように見える画像をユーザが満足する状態で提供することができる技術が提案されている。特許文献２に開示されている画像処理では更に、顔の目の虹彩部分を認識してカラーコンタクトのように色を変える画像を撮影された画像に重畳し、又は、顔の目のまつ毛部分を認識してつけまつげを付加する処理を行なうことが提案されている。
Japanese Patent Application Laid-Open No. 2004-133620 proposes to perform image processing as if a lipstick was applied to a user's lip portion in a photographed image. In particular, by superimposing the lip image extracted by recognizing the lip part of the face on the captured image, it is possible to change the color or gradation etc. of the superimposed lip image, and to delete a part of it, There has been proposed a technique that can provide an image that looks like a lipstick while the user is satisfied. In the image processing disclosed in
特許文献３には、メイクシミュレーションに係る方法が提案されている。特許文献３に開示されている方法では、ユーザ夫々の顔の中の目、鼻又は口等の各部分の画像内での位置を精度よく顔認識技術によって認識し、各部分の位置を基準にして決定される化粧領域に、ブラシによって着色描画することで自然なメイクが実現されている。 Patent Document 3 proposes a method related to makeup simulation. In the method disclosed in Patent Document 3, the position of each part such as eyes, nose or mouth in the face of each user in the image is accurately recognized by face recognition technology, and the position of each part is used as a reference. Natural makeup is realized by coloring and drawing with a brush in the makeup area determined in this way.
特許文献１では、ユーザ自身がペン等の入力装置を用いて操作画面上の顔領域に描画操作を行なう必要があり、メイクに不慣れなユーザにとっては、どのようにパターン又は色を選択し、どのように描画したらよいかが困難である。したがって、ユーザの操作性に対する満足度、及び撮影結果の内容に対する満足度がいずれも不十分であった。
In
特許文献２では、唇部分以外の部分に対してメイクを施したような画像とする画像処理の具体的な方法については詳細な記載はない。人物の顔の中に元々存在していたまつげの領域に基づき、まつげの太さを増減させる加工（マスカラ処理）ではなく、つけまつげ等の人物の顔の中に存在していたものではない画像を顔領域に自動的に重畳させても、ユーザ自身の顔として自然に写るように画像処理を行なうことは非常に難しい。特に、つけまつげ及びカラーコンタクト等の目及び目の周辺の領域の加工は顔の印象を大きく変えるので、加工によっては人物の顔として過度に不自然な画像となり、結果によってはユーザの満足度を低下させる虞がある。したがって特許文献２に開示されている技術を用いるとしても、唇以外の部分には従来通り、ユーザ自身が描画する処理が必要であり、メイクに不慣れなユーザが容易に満足する画像を撮影遊戯機から得ることは依然として難しい。
In
満足度を向上させるために、特許文献３に開示されているような技術によって、自然なメイク後の画像を作成することが期待される。しかしながら、派手なメイク、自身では実施が難しいメイク等を含む多様なメイクを種々試すことを手軽に楽しむには、特許文献３に開示されている方法ではユーザ個々の顔認識技術の精度が高過ぎ、また、精度が高過ぎるために描画する処理時間を要する可能性がある。更に、特許文献３に開示されている技術は、人物の顔の中に存在している器官及び肌の一部の形を変形させるか、一部の色を変更させるなどの処理を行なっている。つまり、人物の顔の中に元々存在していないメイク用の素材画像を顔領域に自動的に重畳させるメイクについては実現されていない。 In order to improve the degree of satisfaction, it is expected to create a natural post-makeup image by the technique disclosed in Patent Document 3. However, the accuracy of the individual face recognition technology is too high for the method disclosed in Patent Document 3 to easily enjoy various trials including glamorous makeup and makeup that is difficult to implement by itself. In addition, since the accuracy is too high, it may take a processing time for drawing. Furthermore, the technique disclosed in Patent Document 3 performs processing such as changing the shape of a part of an organ and skin existing in a person's face or changing a part of color. . In other words, makeup that automatically superimposes a makeup material image that does not originally exist in a person's face on the face area has not been realized.
本発明は斯かる事情に鑑みてなされたものであり、多様なメイクが施された自然な撮影結果をユーザが気軽に得ることが可能となる画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and provides an image processing apparatus, an image processing method, and a computer program that enable a user to easily obtain natural shooting results with various makeups applied. The purpose is to do.
本発明に係る画像処理装置は、マトリクス状に配列した複数の画素からなる一連の複数の画像を取得する手段と、取得された複数の画像に撮影されている人物の顔及び該顔内の器官の領域を特定する特定手段とを備え、予め記憶されているリップ、チーク、カラーコンタクト、アイライン、又はつけまつげの写真画像である化粧用画像を前記特定手段により特定された領域に重畳させる画像処理装置において、複数の人物から各々操作を受け付けるべく分別された画面上にて夫々、前記複数の画像の内の１つの画像毎に、該画像内で特定された複数の顔領域の内の１つ、及び前記複数の顔領域全ての内のいずれかに、前記化粧用画像を重畳させる重畳手段を備える。 An image processing apparatus according to the present invention includes a means for acquiring a series of a plurality of images composed of a plurality of pixels arranged in a matrix, a human face imaged in the acquired images, and an organ in the face Image processing for superimposing a prestored cosmetic image, which is a photographic image of a lip, cheek, color contact, eyeline, or false eyelash, on the area specified by the specifying means In the apparatus, one of the plurality of face regions specified in each of the plurality of images on a screen separated to receive operations from a plurality of persons. And superimposing means for superimposing the cosmetic image on any of the plurality of face regions.
本発明に係る画像処理装置は、前記重畳手段は、前記複数の画像の内の１つの画像毎に、前記化粧用画像の重畳対象として、前記画像内で特定された複数の顔領域の内の１つずつ、及び前記複数の顔領域全ての内のいずれかの選択を受け付ける選択手段を更に備える。 In the image processing apparatus according to the present invention, the superimposing unit includes, for each image among the plurality of images, a plurality of face regions specified in the image as a superimposition target of the makeup image. Selection means for accepting selection one by one and any one of all of the plurality of face regions is further provided.
本発明に係る画像処理装置は、前記分別された画面は夫々、前記化粧用画像の重畳対象とする顔領域の表示画面を含み、前記選択手段が選択される都度に、前記表示画面には、前記画像内で特定された複数の顔領域の内の顔領域を１つずつ含む画像、及び前記画像内で特定された複数の顔領域全てを含む画像が順に切り替えられて表示される。 In the image processing apparatus according to the present invention, each of the sorted screens includes a display screen of a face area to be superimposed on the makeup image, and each time the selection unit is selected, the display screen includes: An image including one face area among the plurality of face areas specified in the image and an image including all the plurality of face areas specified in the image are sequentially switched and displayed.
本発明に係る画像処理方法は、マトリクス状に配列した複数の画素からなる一連の複数の画像を取得し、取得した複数の画像に撮影されている人物の顔及び該顔内の器官の領域を特定し、予め記憶されているリップ、チーク、カラーコンタクト、アイライン、又はつけまつげの写真画像である化粧用画像を特定された領域に重畳させる画像処理方法において、複数の人物から各々操作を受け付けるべく分別された画面上にて夫々、前記複数の画像の内の１つの画像毎に、該画像内で特定された複数の顔領域の内の１つ、及び前記複数の顔領域全ての内のいずれかの選択を受け付け、選択された顔領域に前記化粧用画像を重畳させる。 An image processing method according to the present invention acquires a series of a plurality of images composed of a plurality of pixels arranged in a matrix, and identifies a human face imaged in the acquired plurality of images and an organ region within the face. In an image processing method for identifying and superimposing a pre-stored lip, cheek, color contact, eyeline, or false eyelash cosmetic image on a specified area, to receive operations from a plurality of persons. For each one of the plurality of images on the sorted screen, one of the plurality of face areas specified in the image and all of the plurality of face areas are selected. Is selected, and the makeup image is superimposed on the selected face area.
本発明に係るコンピュータプログラムは、コンピュータに、マトリクス状に配列した複数の画素からなる一連の複数の画像を取得させ、取得された複数の画像に撮影されている人物の顔及び該顔内の器官の領域を特定させ、予め記憶されているリップ、チーク、カラーコンタクト、アイライン、又はつけまつげの写真画像である化粧用画像を特定された領域に重畳させるコンピュータプログラムにおいて、前記コンピュータに、複数の人物から各々操作を受け付けるべく分別された画面上にて夫々、前記複数の画像の内の１つの画像毎に、該画像内で特定された複数の顔領域の内の１つ、及び前記複数の顔領域全ての内のいずれかに、前記化粧用画像を重畳する処理を実行させる。 A computer program according to the present invention causes a computer to acquire a series of a plurality of images composed of a plurality of pixels arranged in a matrix, and a person's face captured in the acquired images and organs in the face A computer program for identifying a region of the image and superimposing a pre-stored cosmetic image that is a photographic image of lip, cheek, color contact, eyeline, or false eyelashes on the identified region. Each of the plurality of images on one of the screens sorted to receive the operation, and one of the plurality of face regions specified in the image and the plurality of faces A process of superimposing the cosmetic image on any one of the entire regions is executed.
本発明では、ユーザを撮影して得られた画像から顔領域又は各器官の領域そのものを抽出した画像のみならず、テーマの選択に応じて予め記憶してある前記人物の顔には元々存在しない素材画像である化粧用画像を重畳するに際し、重畳される領域を、１人ずつと、全員とのいずれかとすることができる。 In the present invention, not only an image obtained by extracting a face region or each organ region itself from an image obtained by photographing a user, but also does not originally exist in the face of the person stored in advance according to a theme selection. When superimposing a makeup image, which is a material image, the region to be superimposed can be either one person or everyone.
本発明では、１人ずつ及び全員（２人であれば１人目、２人目、及び全員、３人であれば１人目、２人目、３人目及び全員）の内のいずれかを選択できる。 In the present invention, any one of one person and all persons (first person, second person, and all persons if two persons, first person, second person, third person and all persons if three persons) can be selected.
本発明では、いずれかが選択がなされる都度、重畳対象となっている顔領域を含む画像を表示する画面内で、１つずつの顔領域を含む画像、及び全員の顔領域を含む画像に順に切り替わるから、いずれの顔領域が重畳対象であるかをユーザが把握することが可能である。 In the present invention, every time one of the selections is made, an image including one face area and an image including all face areas are displayed on the screen displaying the image including the face area to be superimposed. Since the switching is performed in order, the user can grasp which face region is a superposition target.
本発明による場合、化粧用画像が重畳される領域を、１人ずつと、全員とのいずれかから選択できる。 According to the present invention, the region on which the cosmetic image is superimposed can be selected from one person or everyone.
ユーザ自身を撮影して得られた画像から抽出された領域内の大きさ又は太さ等を変更するのではなく、つけまつげのような予め記憶してあるユーザの顔には元々存在しない化粧用の素材の画像を重畳させても自然に見えるような画像を作成することは、従来では非常に困難であった。しかしながら本発明による場合、顔の中で特定される顔領域に含まれる各器官の領域の位置等を基準として化粧用素材の画像の位置、大きさ、又は角度を決定して更に変形を行なうことにより、スタンプ画像のように明らかに重畳されていることがわかるような画像ではなく、ユーザ自身が自然に写っていて、プロによってメイクを施されたファッションモデル又はアーティストを撮影したような画像の出力を実現できた。 Instead of changing the size or thickness of the area extracted from the image obtained by photographing the user himself, the cosmetic face that does not originally exist in the user's face that is stored in advance, such as false eyelashes Conventionally, it has been very difficult to create an image that looks natural even when material images are superimposed. However, according to the present invention, the position, size, or angle of the cosmetic material image is determined based on the position of each organ area included in the face area specified in the face, and further deformation is performed. This is not an image that clearly shows a superimposed image, such as a stamp image, but an image that looks like a photograph of a fashion model or artist that the user has taken naturally and has been made by a professional. Was realized.
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。 Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
図１は、本実施の形態における撮影遊戯機の外観を示す斜視図である。撮影遊戯機は全体として、複数のユーザが入り込むことが可能な略直方体形状の箱型の装置である。撮影遊戯機は、おおまかに撮影エリアＡ及び編集エリアＢに分けることができ、夫々のエリアＡ，Ｂに複数の機器が設けられて構成される。 FIG. 1 is a perspective view showing an external appearance of a photographing amusement machine according to the present embodiment. A photographing amusement machine as a whole is a box-shaped device having a substantially rectangular parallelepiped shape that a plurality of users can enter. A shooting game machine can be roughly divided into a shooting area A and an editing area B, and a plurality of devices are provided in each of the areas A and B.
撮影エリアＡには、事前接客部１及び撮影部２に係る機器が設けられている。事前接客部１は撮影エリアＡの外側に向けて設けられているコイン投入口、タッチパネル式ディスプレイ及びスピーカ等を含んで構成されており、ユーザの撮影前のコインの投入、名前の登録等の操作を受け付ける。撮影部は、撮影エリアＡ内部の壁面に内側に向けて設置されているカメラ２１、ディスプレイ２２、照明装置群２３、及びスピーカ２４（図２参照）を含んで構成されており、ユーザに撮影ガイドを表示し、音声で案内しながら複数種類の画像を撮影し、撮影された画像を第１編集部３ａ及び第２編集部３ｂ（図２参照）へ出力する処理を行なう。
In the shooting area A, devices related to the
編集エリアＢには、第１編集部３ａ、第２編集部３ｂ及び印刷部４に係る機器が設けられている。第１編集部３ａ及び第２編集部３ｂは編集エリアＢの中央部に、操作画面表示用のマルチタッチパネル式のディスプレイ３０ａ，３０ｂ（図２参照）を夫々ユーザが操作しやすい高さに背中合わせで露出させた装置を含んで構成されている。第１編集部３ａ及び第２編集部３ｂは更にスピーカ３３ａ，３３ｂ（図２参照）及び照明装置、並びに前記操作画面表示用のタッチペン３１ａ，３２ａ，３１ｂ，３２ｂ（図２参照）等を備えている。第１編集部３ａ及び第２編集部３ｂは、ユーザを撮影した撮影画像に基づく画像への落書き操作をディスプレイ３０ａ，３０ｂ及びタッチペン３１ａ，３２ａ，３１ｂ，３２ｂにて受け付け、受け付けられた操作に対応する画像処理を実行する。印刷部４は、編集エリアＢの第１編集部３ａ，第２編集部３ｂを含む装置の筐体内に設けられるプリンタを含んで構成され、画像処理後の画像が印刷された写真シールシートを筐体の表面に設けられている吐出口から吐き出す。
In the editing area B, devices relating to the
図２は、本実施の形態における撮影遊戯機の構成を模式的に示すブロック図である。撮影遊戯機は、撮影エリアＡ及び編集エリアＢにおけるユーザから視認可能な範囲に上述の事前接客部１、撮影部２、第１編集部３ａ、第２編集部３ｂ及び印刷部４を備えているほか、撮影エリアＡ内の壁面に隠された箇所、又は編集エリアＢの装置の筐体内部等のユーザから視認不可能な位置に、通信部５と制御機構とを備えている。
FIG. 2 is a block diagram schematically showing the configuration of the shooting game machine in the present embodiment. The shooting game machine includes the above-described
通信部５は、インターネット等の外部ネットワークに接続して撮影された画像を含むデータの送受信を実現する。通信部５は制御機構に接続されており、制御機構は通信部５を介して外部ネットワーク上のサーバ装置と通信し、データの送受信を行なうことが可能である。本実施の形態における撮影遊戯機では、通信部５が撮影によって得られた画像データを撮影遊戯機のメーカが管理するサーバ装置へ送信する。これにより、ユーザはサーバ装置から自身の撮影画像を携帯電話機（スマートフォン）、タブレット、又はＰＣ等の端末装置へダウンロードして取得することが可能である。
The
制御機構は、上述した各ハードウェアを制御するＰＣ（Personal Computer ）と、各ハードウェアが接続されているバス１００を含む制御基板と、各ハードウェアに電力を供給する図示しない電源部とにより構成される。ＰＣは１つのＰＣで構成されてもよいが、処理を円滑化するために、事前接客部１を制御するＰＣ、撮影部２を制御するＰＣ、第１編集部３ａを制御するＰＣ、第２編集部３ｂを制御するＰＣ、並びに印刷部４及び通信部５を制御するＰＣ、のように制御対象毎に異なるＰＣを用いてもよい。なお以下の説明では第１編集部３ａ及び第２編集部３ｂにおける落書き操作に基づく画像処理について主に説明する。このため、仮想的に第１ＰＣと第２ＰＣとに分別して説明する。第１ＰＣは、事前接客部１及び撮影部２における処理を制御する制御部６に対応する。第２ＰＣは、撮影部２により得られた画像に対する所定の加工処理、第１編集部３ａ及び第２編集部３ｂによる編集の受け付け、合成等の画像処理を制御し、印刷部４における印刷出力並びに通信部５からのデータ送信を指示する画像処理部７に対応する。
The control mechanism is configured by a PC (Personal Computer) that controls each hardware described above, a control board including a
制御部６は、第１ＰＣに備えられたＣＰＵ（Central Processing Unit ）６０と、メモリ６１と、ＨＤＤ（Hard Disk Drive）６２と、キャプチャ・クロマキーボード６３とを含む。メモリ６１はＤＲＡＭ（Dynamic Random Access Memory）又はＳＤＲＡＭ（Synchronous DRAM）等のＲＡＭを用い、ＨＤＤ６２に替えてフラッシュメモリ、又はＳＳＤ（Solid State Drive ）等の他の不揮発性記憶装置を用いてもよい。
The
ＣＰＵ６０は、ＨＤＤ６２に記憶されている制御プログラム６Ｐを読み出し、メモリ６１に各種情報を読み書きしながら前記制御プログラム６Ｐを実行することにより、以下の各機能を実現する。
The
ＣＰＵ６０は、事前接客部１のコイン投入口にて所定料金の投入を受け付けた場合に事前接客部１から出力される制御信号を入力し、タッチパネル式のディスプレイに操作画面を出力させ、スピーカから案内音声を出力させる。また、ＣＰＵ６０は、事前接客部１のディスプレイに表示されている操作画面上の操作に対応する情報を事前接客部１から入力する。具体的にはＣＰＵ６０は、タッチパネル式のディスプレイ上の操作により、ユーザの名前、通信部５からの送信先アドレスに係る情報等を入力する。
The
ＣＰＵ６０は、撮影部２にてカメラ２１から得られるモニタ用の映像信号をキャプチャ・クロマキーボード６３が入力するように制御し、キャプチャ・クロマキーボード６３から映像信号に含まれる各フレームの画像データを取得し、取得したフレームの画像データに基づいてライブ画面用の画像の映像信号を作成し、作成した画像信号をディスプレイ２２へ出力する。またＣＰＵ６０は、撮影開始及び案内をユーザに通知するための撮影ガイドの画像信号をディスプレイ２２へ出力し、音声信号をスピーカ２４へ出力する。
The
ＣＰＵ６０は、撮影部２のカメラ２１による撮影と照明装置群２３によるフラッシュ点灯とを同期させて撮影を行なう。なおＣＰＵ６０は、カメラ２１による撮影を複数回実行する。ＣＰＵ６０は、撮影により得られる画像の複数の画像データをカメラ２１から取得し、夫々を区別できるように識別情報を付与してＨＤＤ６２に記憶すると共に、複製して画像処理部７へ出力する。
The
ＨＤＤ６２は、ＣＰＵ６０が参照する各種情報を記憶する。ＨＤＤ６２は、ＣＰＵ６０が実行する制御プログラム６Ｐを予め記憶している。ＨＤＤ６２は、制御プログラム６Ｐのほかに、事前接客部１のディスプレイ及び撮影部２のディスプレイ２２に表示する画像及びフォントデータ、事前接客部１のスピーカ及び撮影部２のスピーカ２４から出力させる音声及び音楽等のデータを予め記憶している。また、ＨＤＤ６２には、撮像部２における写真撮影で得られる画像データが記憶される。
The
キャプチャ・クロマキーボード６３は、キャプチャ機能及びクロマキー機能を有する回路基板である。キャプチャ・クロマキーボード６３は、映像信号から毎秒３０（２９．９７）枚のフレームの画像データを取得して静止画像として出力するキャプチャ機能を有する。またキャプチャ・クロマキーボード６３は、静止画像から一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素に対してα値（透明度）を設定することにより一部の色を透明化して出力するクロマキー機能を有する。キャプチャ・クロマキーボード６３は、カメラ２１からのモニタ用の映像信号から順次フレームをキャプチャし、キャプチャして得られた静止画像に必要に応じてクロマキー処理を実行し、内蔵するメモリに書き込む。ＣＰＵ６０は、キャプチャ・クロマキーボード６３内蔵のメモリから静止画像を順次読み出して、撮影部２のディスプレイ２２に表示するライブ画面用の画像の画像信号を作成する。
The capture /
画像処理部７は、第２ＰＣに備えられたＣＰＵ７０と、メモリ７１と、ＨＤＤ７２と、グラフィックボード７３とを備える。メモリ７１は、ＤＲＡＭ又はＳＤＲＡＭ等のＲＡＭを用いる。
The
ＣＰＵ７０は、ＨＤＤ７２に記憶されている画像処理プログラム７Ｐを読み出し、メモリ７１に各種情報を読み書きしながら前記画像処理プログラム７Ｐに基づく画像処理を実行する。またＣＰＵ７０は、制御部６から出力された画像データを、付与されている識別情報と共にメモリ７１又はＨＤＤ７２に記憶し、該画像データを基に加工処理を行なう。加工処理には、画像中の人物の顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見えるようにする加工等、種々の加工が含まれる。なおこれらの加工処理の内の一部では、加工具合の強弱（多少）を複数の段階に分けて実行する。ＣＰＵ７０は、加工の種類毎に段階数分だけ複製した画像データをメモリ７１又はＨＤＤ７２に記憶し、各画像データに夫々の段階で加工処理を実行し、加工後の複数の画像データをメモリ７１又はＨＤＤ７２に記憶する。
The
更にＣＰＵ７０は、メモリ７１又はＨＤＤ７２に記憶してある撮影により得られた上述の加工処理前及び加工処理後の複数の画像データに基づき、第１編集部３ａ及び第２編集部３ｂにて落書き操作をディスプレイ３０ａ，３０ｂ及びタッチペン３１ａ，３２ａ，３１ｂ，３２ｂにて受け付ける。ＣＰＵ７０は、落書き機能の内の１つの機能として、画像データに基づく画像中、ユーザが撮影されている領域に対してメイクを施す機能を実現し、メイクに係る操作を受け付ける。メイクにはリップ、チーク、カラーコンタクト（以下カラコンという）、アイライン、つけまつげ、及びヘアカラーの複数種類がある。メイクに係る落書き編集処理については詳細を後述する。ＣＰＵ７０は、落書き操作として受け付けた操作の内容に応じて、後述する落書き用操作画面のプレビュー表示部に表示する手書き文字又はメイクを含むスタンプ等の画像データを作成してディスプレイ３０ａ，３０ｂへ出力する処理、更に、落書き用操作画面のプレビュー表示部に表示されている確定した編集内容に応じて合成画像データを作成する処理を実行する。ＣＰＵ７０は、作成された合成画像データに基づき画像を写真シールシートに印刷出力する処理、合成画像データ又は合成処理前の画像データを通信部５から外部サーバ装置へ送信する処理を実行する。
Further, the
ＨＤＤ７２は、ＣＰＵ７０が参照する各種情報を記憶する。ＨＤＤ７２は、ＣＰＵ７０が実行する画像処理プログラム７Ｐを予め記憶している。またＨＤＤ７２は、第１編集部３ａ及び第２編集部３ｂのディスプレイ３０ａ，３０ｂに表示する案内用の文字画像、合成用の素材である文字、フォントデータ又は画像、スピーカ３３ａ，３３ｂから出力させる音楽及び音声等のデータを予め記憶している。合成用の素材である画像の中には、上述したメイクを施す機能を実現するべくメイク用情報７２０が予め記憶されている。メイク用情報７２０には、リップパターン情報、チーク用画像、カラコン画像、アイライン画像、つけまつげ画像、及びヘアカラー用パターン情報が含まれる。メイク用情報７２０は書き換え可能である。また、ＨＤＤ７２は、受け付けた編集に基づく画像処理により得られた画像データ、合成後の画像の画像データが記憶される。
The
グラフィックボード７３は、入力した画像データ及び描画命令に基づいて画像を描画し、描画した画像の画像データを出力するハードウェアである。ＣＰＵ７０は、制御部６から取得して記憶した画像データに対する画像処理を、グラフィックボード７３を用いて行なう。具体的には、ＣＰＵ７０は画像データと、目的の画像を得るための描画命令とをグラフィックボード７３に与えて処理を行なわせ、描画処理によって得られた画像の画像データをグラフィックボード７３内蔵のメモリから入力する。描画処理には、拡縮、回転、移動、クロマキー機能、トリミング機能、α化機能、明度又は色調等の調整機能、フィルター機能、合成機能等が含まれる。
The
図３及び図４は、本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。なお、制御部６にて行なわれる処理手順と、画像処理部７にて行なわれる処理手順とに分けて説明する。図３は制御部６により実行される全体処理の手順の一例を示すフローチャートである。
FIG. 3 and FIG. 4 are flowcharts showing an example of the overall processing executed in the shooting game machine of the present embodiment. The processing procedure performed by the
制御部６のＣＰＵ６０は、事前接客部１にてディスプレイに、撮影遊戯機の案内を表示させると共に、スピーカから音楽及び案内音声を出力させ（ステップＳ１０１）、所定料金が投入されたか否かを判断する（ステップＳ１０２）。ＣＰＵ６０は、所定料金が未投入であると判断した場合（Ｓ１０２：ＮＯ）、処理をステップＳ１０１へ戻す。
The
ＣＰＵ６０は、所定料金が投入されたと判断した場合（Ｓ１０２：ＹＥＳ）、事前接客部１のディスプレイにて、ユーザの名前の入力又は撮影モードの選択等を受け付ける（ステップＳ１０３）。ＣＰＵ６０は、撮影エリアＡの空き状況を確認した上で、空いている場合に移動を促す案内画面を事前接客部１のディスプレイに表示させると共に、案内音声を出力させる（ステップＳ１０４）。
When the
ＣＰＵ６０は、撮影エリアＡ内にて撮影部２のディスプレイ２２に、撮影内容の案内画面を表示させ、案内音声及びＢＧＭをスピーカ２４から出力させる（ステップＳ１０５）。更にＣＰＵ６０は、カメラ２１からの映像信号に基づくライブ画面をディスプレイ２２に表示させる（ステップＳ１０６）。このときＣＰＵ６０は、撮影開始までのカウントダウンを示す文字又は画像をディスプレイ２２に表示させ、カウントダウンの音声をスピーカ２４に出力させる。
The
ＣＰＵ６０は、制御部２のカメラ２１及び照明装置群２３を制御して１回の撮影を実行し（ステップＳ１０７）、画像データを他の撮影により得られた画像の画像データと識別可能にＨＤＤ６２に記憶する（ステップＳ１０８）。ＣＰＵ６０は撮影を実行する都度、ディスプレイ２２にプレビュー画面を表示し（ステップＳ１０９）、所定の回数の撮影が完了したか否かを判断する（ステップＳ１１０）。
The
所定の回数の撮影が完了していないと判断された場合（Ｓ１１０：ＮＯ）、ＣＰＵ６０は、処理をステップＳ１０７へ戻し、次の撮影を実行する。このように所定の回数の撮影を実行するに際しＣＰＵ６０は撮影毎に、顔のアップの撮影とユーザの全身の撮影とを区別して実行する。ＣＰＵ６０は撮影毎に、アップなのか全身なのか等に応じて適切なカメラ２１の傾き、画角、照明の明暗で撮影が実行されるように制御するとよい。
If it is determined that the predetermined number of times of shooting has not been completed (S110: NO), the
所定の回数の撮影が完了していると判断された場合（Ｓ１１０：ＹＥＳ）、ＣＰＵ６０は、編集エリアＢの空き状況を確認した上で、空いている場合に編集エリアＢの第１編集部３ａ及び第２編集部３ｂの何れかへの移動を促す案内画面をディスプレイ２２に表示させると共に、案内音声をスピーカ２４から出力させ（ステップＳ１１１）、撮影エリアＡにおける処理を終了する。
If it is determined that the predetermined number of times of shooting has been completed (S110: YES), the
図４は、画像処理部７により実行される全体処理の手順の一例を示すフローチャートである。なお以下の説明では、第１撮影部３ａ側にユーザが案内され、落書き操作が受け付けられる場合について説明する。第２撮影部３ｂ側でも処理は同様であるため詳細な説明を省略する。
FIG. 4 is a flowchart illustrating an example of a procedure of overall processing executed by the
画像処理部７のＣＰＵ７０は、制御部６によりＨＤＤ６２に記憶された画像データを取得する（ステップＳ２０１）。ステップＳ２０１は詳細には、制御部６のＣＰＵ６０がＨＤＤ６２から読み出してＨＤＤ７２に記憶し、画像処理部７のＣＰＵ７０が読み出すことができるようにするか、又はＣＰＵ７０がＨＤＤ６２から画像データを直接的に読み出すかにより実現される。制御部６と画像処理部７とが異なるＰＣにて実現される場合、共通の記憶装置（図示せず）に画像データが書き込まれ、ＣＰＵ７０が読み出すことができるように構成してもよいし、通信により画像データを制御部６及び画像処理部７間で送受信することにより実現してもよい。
The
ＣＰＵ７０は、取得した複数の画像データ毎に、１又は複数の人物被写体領域を抽出する処理を行なう（ステップＳ２０２）。ステップＳ２０２は詳細には、ＣＰＵ７０はグラフィックボード７３を用い、複数回撮影して得られた複数の画像データに基づく画像から夫々、一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素以外の人物被写体を撮影した人物領域に対応する画素をα化（透明化）することによって得られるマスク画像の画像データを作成させる。ＣＰＵ７０は、抽出した人物被写体領域に基づいて、複数の画像データ毎に、選択されている撮影モードに対応するトリミング枠を仮に決定してトリミングを行なう（ステップＳ２０３）。ステップＳ２０３におけるトリミング枠は例えば、矩形及び円形が含まれる。
The
またＣＰＵ７０は、取得した複数の画像データ別に抽出した１又は複数の人物被写体領域毎に、顔認識技術に基づいて顔領域、並びに顔領域内の目、鼻、及び口の各器官領域の特定を実行する（ステップＳ２０４）。ＣＰＵ７０は、ステップＳ２０４の処理を肌色検出、テンプレートマッチングなどの種々の既存技術を利用して行なえばよい。またステップＳ２０４においてＣＰＵ７０は、顔領域及び器官領域を、夫々の輪郭に対応する画像中の画素の座標情報で特定する。なおステップＳ２０４における処理は、上述のステップＳ２０３の処理中にバックグラウンドで並行的に実行されるようにしてもよい。
Further, the
次にＣＰＵ７０は、複数の画像データ別に、抽出された人物被写体領域、特定された顔領域、並びに顔領域内の各器官領域に対する加工処理を実行する（ステップＳ２０５）。ステップＳ２０５にてＣＰＵ７０は、複数回撮影して得られる画像データ夫々について、撮影の方法（アップ撮影又は全身撮影等）に適した加工処理を行なう。加工処理には上述したように、顔を小顔にする加工、顔の頬部分の色味を明るくする（チーク）加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見せる加工等が含まれる。ただしステップＳ２０５においては加工処理全てを完了させないようにすることが望ましい。加工処理の内の一部、例えば小顔にする加工、及び目を大きくする加工については加工度合いを複数段階に分けて実行し、各段階の画像データをメモリ７１又はＨＤＤ７２に記憶し、第１編集部３ａにおける編集を受け付けるに際し、何れの段階の加工度合いとするかの選択を受け付けることが可能なように実行しておく。ステップＳ２０５までの処理は、図３のフローチャートにおける１回目のステップＳ１０７の撮影処理の都度、各撮影に対して記憶される画像データに対してバックグラウンド的に開始され、編集エリアＢへの案内画面の表示中に処理が進むように実行されてもよい。
Next, the
ＣＰＵ７０は、ステップＳ２０５の加工処理の一部又は全部が完了した後、加工処理後の画像を含む編集案内用の画面を第１編集部３ａのディスプレイ３０ａに表示させると共に、案内音声及び音楽をスピーカ３３ａから出力させる（ステップＳ２０６）。
After part or all of the processing processing in step S205 is completed, the
ＣＰＵ７０は、ステップＳ２０５にて複数段階の加工度合いに分けて実行した加工について、各段階の加工処理後の画像データに基づくプレビュー画像をディスプレイ３０ａに表示させ、何れの段階の加工度合いとするかの選択を受け付ける（ステップＳ２０７）。このときＣＰＵ７０は例えば、小顔にする加工及び目を大きくする加工について夫々、各段階のプレビュー画像を並べて表示するか、スライダーコントロールをディスプレイ３０ａに表示し、スライダーコントロール上をタッチペン３１ａ又は３２ａがスライドすることに応じてプレビュー画像が連続的に変化するように表示させ、何れかの選択を受け付ける。
The
次にＣＰＵ７０は、第１編集部３ａにおいて、スタンプ貼付け、文字追加、及びメイクを含む落書き操作を受け付ける（ステップＳ２０８）。落書き操作の受け付けについては詳細を後述する。更にＣＰＵ７０は、合成後の撮影画像の写真シールシートにおけるレイアウト等の選択を受け付ける（ステップＳ２０９）。
Next, the
ＣＰＵ７０は、ステップＳ２０７で選択された加工の段階と、ステップＳ２０８で受け付けられた落書き操作と、ステップＳ２０９で選択されたレイアウトとに基づいて、撮影により得られた画像データに基づく画像と、ステップＳ２０８にて受け付けられて確定した落書き操作に基づく文字、画像、メイク用情報７２０に基づく画像等とを合成し、受け付けた選択に基づいて写真シールシートにレイアウトする合成処理を実行する（ステップＳ２１０）。
The
ＣＰＵ７０は、合成処理後の写真シールシートのプレビュー画面を第１編集部３ａのディスプレイ３０ａに表示させる（ステップＳ２１１）。ＣＰＵ７０は、印刷部４のプリンタが使用中でないか否かを確認した上で、使用中でない場合に印刷部４のプリンタにて写真シールシートの印刷出力を開始させる（ステップＳ２１２）。印刷出力処理の間に、ＣＰＵ７０は、ユーザの携帯電話機への画像データ送信を実行するためのアドレス等の送信先情報の入力用の操作画面、又は送信する画像データの選択を受け付けるための選択画面をディスプレイ３０ａに表示させると共に、案内音声を出力させ（ステップＳ２１３）、ディスプレイ３０ａにて入力操作を受け付け（ステップＳ２１４）、入力された情報を記憶する（ステップＳ２１５）。ＣＰＵ７０は、記憶した情報に基づいて選択された画像データ及び送信先情報を通信部５から外部サーバ装置へ送信し（ステップＳ２１６）、ディスプレイ３０ａに印刷部４の前への移動を促す案内画面を表示させると共に、案内音声を出力させ（ステップＳ２１７）、処理を終了する。
The
次に、ステップＳ２０８にて受け付けられる落書き操作について詳細を説明する。図５は、落書き用操作画面の一例を示す説明図である。第１編集部３ａのディスプレイ３０ａに図５に示すような落書き用操作画面が表示される。ディスプレイ３０ａに表示されている落書き用操作画面に対し、ユーザはタッチペン３１ａ及びタッチペン３２ａによって操作内容の選択、描画等の操作を行なう。なお第１編集部３ａでは、複数のユーザがタッチペン３１ａ及びタッチペン３２ａを使用して同時に操作することが可能である。第２編集部３ｂにおける落書き操作についても同様であるので以下、詳細な説明を省略する。
Next, details of the graffiti operation accepted in step S208 will be described. FIG. 5 is an explanatory diagram illustrating an example of a graffiti operation screen. A graffiti operation screen as shown in FIG. 5 is displayed on the
図５の内容例において落書き用操作画面は、２つのタッチペン３１ａ，３２ａによる操作を受け付けるために２つのプレビュー表示部３０１，３０２を有している。図５に示す例では、一方のプレビュー表示部３０１に矩形にトリミングされたプレビュー画像の例が表示され、他方のプレビュー表示部３０２に円形にトリミングされたプレビュー画像の例が表示されている。また、落書き用操作画面は、２つのプレビュー表示部３０１，３０２に対して複数の画像データに基づく複数の画像からいずれの画像の画像データを編集対象とするかを順次切り替えるための切替部３０１１，３０２１を有している。また落書き用操作画面は、手書き操作によって文字又は線を入力するためのペンの種類、太さ及び色を選択するためのペンパレット３０３と、予め記憶されているスタンプ画像及びメイク用の画像などの素材画像を選択するためのスタンプパレット３０４とを含む。スタンプパレット３０４は、プレビュー表示部３０１，３０２夫々に対応するように左右に配置される。なおペンパレット３０３及びスタンプパレット３０４は、一方が選択されている間は他方のパレット内の種類、太さ、及び色又は素材画像の選択が無効（非アクティブ）となるようにしてある。
In the content example of FIG. 5, the graffiti operation screen has two
スタンプパレット３０４は、プレビュー表示部３０１，３０２に表示されている２つのプレビュー画像に対して重畳させるスタンプの素材の種類を選択するためのタブ選択部１０１をプレビュー表示部３０１，３０２と対応するように夫々有している。タブ選択部１０１には「ＳＰＥＣＩＡＬ」「ＳＴＡＭＰ」、「ＭＥＳＳＡＧＥ」、及び「ＭＡＫＥ」の例えば４種類のタブが選択可能に表示されている。「ＳＰＥＣＩＡＬ」は、撮影により得られた画像データに基づく画像に対し、撮影遊戯機の種別毎に異なる編集、又は提供期間等で異なるなどの特別な素材の選択を受け付ける画面を表示するためのタブである。「ＳＴＡＭＰ」は、予め記憶してあるイラスト等の画像を選択する画面を表示するためのタブである。「ＭＥＳＳＡＧＥ」は、予め記憶してある文字を含むメッセージ画像を選択する画面を表示するためのタブである。「ＭＡＫＥ」はＨＤＤ７２に記憶されているメイク用情報７２０に基づく画像の選択を受け付ける画面を表示するためのタブである。
The
図５に示す落書き用操作画面は、プレビュー表示部３０１，３０２と対応する両方のタブ選択部１０１で「ＭＡＫＥ」のタブが選択されている場合の内容例が示されている。「ＭＡＫＥ」のタブが選択されている場合のスタンプパレット３０４は、各プレビュー表示部３０１，３０２に対応するメイクパレット３１０を有している。
The graffiti operation screen shown in FIG. 5 shows an example of contents when the “MAKE” tab is selected in both the
メイクパレット３１０は上部に、メイク選択部１０２を含む。メイク選択部１０２は、メイクパレット３１０の上部に位置する複数のメイクの種類に応じた複数のボタンからなる。図５に示す例では、メイクの種類（対象）は「リップ」、「チーク」、「カラコン」、「アイライン」、「つけまつげ」、及び「ヘアカラー」の６種類と、６種類全てを自動的に実行する「ワンタッチ」がある。
メイクパレット３１０はメイク選択部１０２よりも下方の領域に、各種類のメイクに応じた操作ボタン群を含む。メイクの操作は種類別に、自動モードと手動モードとが存在する。なお自動モードは撮像により得られた画像から顔領域の特定が成功した場合のみに操作可能であり、顔領域の特定に失敗した場合には手動モードのみとなる。図５に示す例では自動モードの場合の操作ボタン群を示している。自動モードの場合の操作ボタン群は、顔サンプル表示部１０３、個別選択部１０４、全員選択部１０５、顔切替部１０６、及びキャンバス部１０７を含む。
顔サンプル表示部１０３は、選択対象の素材のサンプル画像、又は複数の画像データ毎に特定された顔領域を含む矩形領域の画像が抽出されて表示される領域である。
The face
個別選択部１０４及び全員選択部１０５は、編集対象の画像として選択され、対応するプレビュー表示部３０１（又はプレビュー表示部３０２）に表示されている画像中に複数の顔領域が特定されている場合に、複数の顔領域の内の１つをメイクの対象とすることを選択するか、全員を同じメイクの対象とすることを選択するかを切り替えるためのボタンである。図５の例においてプレビュー表示部３０１に対応するメイクパレット３１０では、個別選択部１０４が選択され、プレビュー表示部３０２に対応するメイクパレット３１０では、全員選択部１０５が選択されている。
顔切替部１０６は、個別選択部１０４が選択されている場合に、複数の顔領域からメイクの対象とする顔領域を選択するためのボタンである。個別選択部１０３が選択されている場合のみに選択が有効であり、全員が選択（「みんな」が選択）されている場合は無効である。対応するプレビュー表示部３０１（又はプレビュー表示部３０２）に表示されている画像中に複数の顔領域が特定されている場合にタッチペン３１ａによって顔切替部１０６が選択されたとき、顔領域が順に切り替えられ、サンプルとして顔サンプル表示部１０３に表示される。なお顔切替部１０６は、画像から１つの顔領域のみ特定された場合は無効となる。
The
キャンバス部１０７は、メイク選択部１０２で選択されたメイクの種類に応じた色、パターン、及び大きさを選択するためのボタン等が配置される領域である。詳細については後述する。
The
図６は、手動モードの場合のメイクパレット３１０の例を示す説明図である。手動モードの場合、顔サンプル表示部１０３、個別選択部１０４、全員選択部１０５及び顔切替部１０６に代替して、素材サンプル表示部１０８が配置される。素材サンプル表示部１０８には、選択されたメイク素材のサンプルイメージ、例えば、どのような位置にメイク素材の画像を配置したらよいかを示す説明画像が表示される。
FIG. 6 is an explanatory diagram showing an example of the
図５及び図６に示した落書き用操作画面において操作を受け付ける全体的な処理について、フローチャートを参照して以下に説明する。図７は、画像処理部７のＣＰＵ７０による操作を受け付ける処理手順の一例を示すフローチャートである。なお図７のフローチャートに示す処理手順は、図４のフローチャートに示した処理手順の内のステップＳ２０８の詳細である。以下の説明では、タッチペン３１ａにより、落書き用操作画面のプレビュー表示部３０１、プレビュー表示部３０１に対応するタブ選択部１０１及びメイクパレット３１０側における操作について落書き操作を受け付ける処理について説明する。タッチペン３２ａにより受け付けられるプレビュー表示部３０２側における操作についても同様であるので詳細な説明を省略する。
The overall process for accepting an operation on the graffiti operation screen shown in FIGS. 5 and 6 will be described below with reference to flowcharts. FIG. 7 is a flowchart illustrating an example of a processing procedure for accepting an operation by the
ＣＰＵ７０は、落書き用操作画面をディスプレイ３０ａに表示し（ステップＳ３０１）、ペンパレット３０３が選択中であるか否か判断する（ステップＳ３０２）。ペンパレット３０３が選択中であると判断された場合（Ｓ３０２：ＹＥＳ）、ＣＰＵ７０はペンパレット３０３における選択を受け付け、タッチペン３１ａによる手書きの落書き操作を受け付ける（ステップＳ３０３）。
The
ＣＰＵ７０は、時間切れになったか、又は終了指示を受け付けたかにより、落書き操作が終了したか否かを判断する（ステップＳ３０４）。落書き編集が終了していないと判断した場合（Ｓ３０４：ＮＯ）、処理をステップＳ３０２へ戻す。
The
ＣＰＵ７０は、ステップＳ３０２にてペンパレット３０３が選択中でないと判断した場合（Ｓ３０２：ＮＯ）、スタンプパレット３０４が選択されているのでタブ選択部１０１にて「ＳＰＥＣＩＡＬ」が選択されているか否かを判断する（ステップＳ３０５）。ＣＰＵ７０は、「ＳＰＥＣＩＡＬ」が選択されていると判断した場合（Ｓ３０５：ＹＥＳ）、ＣＰＵ７０はタブ選択部１０１の下方に「ＳＰＥＣＩＡＬ」に係る操作画面を表示し、「ＳＰＥＣＩＡＬ」の操作画面上の操作を受け付け（ステップＳ３０６）、処理をステップＳ３０４へ進める。
If the
ステップＳ３０５にて「ＳＰＥＣＩＡＬ」が選択されていないと判断された場合（Ｓ３０５：ＮＯ）、ＣＰＵ７０は、「ＳＴＡＭＰ」が選択されたか否かを判断する（ステップＳ３０７）。「ＳＴＡＭＰ」が選択されたと判断された場合（Ｓ３０７：ＹＥＳ）、ＣＰＵ７０はタブ選択部１０１の下方に「ＳＴＡＭＰ」に係る操作画面を表示し、操作画面上での操作を受け付け（ステップＳ３０８）、処理をステップＳ３０４へ進める。
If it is determined in step S305 that “SPECIAL” is not selected (S305: NO), the
ステップＳ３０７にて「ＳＴＡＭＰ」が選択されていないと判断された場合（Ｓ３０７：ＮＯ）、ＣＰＵ７０は、「ＭＥＳＳＡＧＥ」が選択されたか否かを判断する（ステップＳ３０９）。「ＭＥＳＳＡＧＥ」が選択されたと判断された場合（Ｓ３０９：ＹＥＳ）、ＣＰＵ７０はタブ選択部１０１の下方に「ＭＥＳＳＡＧＥ」に係る操作画面を表示し、操作画面上での操作を受け付け（ステップＳ３１０）、処理をステップＳ３０４へ進める。
If it is determined in step S307 that “STAMP” has not been selected (S307: NO), the
ステップＳ３０９にて「ＭＥＳＳＡＧＥ」が選択されていないと判断された場合（Ｓ３０９：ＮＯ）、ＣＰＵ７０は、「ＭＡＫＥ」が選択されたか否かを判断する（ステップＳ３１１）。「ＭＡＫＥ」が選択されたと判断された場合（Ｓ３１１：ＹＥＳ）、ＣＰＵ７０はタブ選択部１０１の下方にメイクパレット３１０（「ＭＡＫＥ」に係る操作画面に対応）を表示し、メイクパレット３１０上での操作を受け付け（ステップＳ３１２）、処理をステップＳ３０４へ進める。ステップＳ３１２については詳細を後述する。
When it is determined in step S309 that “MESSAGE” has not been selected (S309: NO), the
ステップＳ３１１にて「ＭＡＫＥ」が選択されていないと判断された場合（Ｓ３１１：ＮＯ）、ＣＰＵ７０は処理をステップＳ３０４へ進める。
If it is determined in step S311 that “MAKE” has not been selected (S311: NO), the
ステップＳ３０４にて、時間切れになったか、又は終了指示を受け付けたかにより、落書き操作が終了したと判断された場合（Ｓ３０４：ＹＥＳ）、ＣＰＵ７０は、図４のフローチャートに示したステップＳ２０９へ処理を戻す。
When it is determined in step S304 that the graffiti operation has ended due to time-out or an end instruction being received (S304: YES), the
図８は、メイクに係る操作及び選択を受け付ける処理手順の一例を示すフローチャートである。以下に示す処理手順は、図７のフローチャートに示した処理手順の内のステップＳ３１２の詳細である。 FIG. 8 is a flowchart illustrating an example of a processing procedure for receiving operations and selections related to makeup. The processing procedure shown below is the details of step S312 in the processing procedure shown in the flowchart of FIG.
ＣＰＵ７０は、図７のフローチャートに示した処理の内、ステップＳ３１１にて「ＭＡＫＥ」タブが選択された場合に初期的に、「ワンタッチ」に係る操作画面をキャンバス部１０７に表示し（ステップＳ４０１）、メイク選択部１０２にて他のメイクの種類が選択されたか否かを判断し（ステップＳ４０２）、他のメイクの種類が選択されていないと判断した場合（Ｓ４０２：ＮＯ）、「ワンタッチ」メイクに係る処理を実行する（ステップＳ４０３）。「ワンタッチ」メイクに係る処理の詳細については後述する。
In the process shown in the flowchart of FIG. 7, when the “MAKE” tab is selected in step S311, the
ＣＰＵ７０は、ステップＳ４０３の処理後、タブ選択部１０１にて他の落書きの種類が選択されるか、落書き編集が確定されて終了したか若しくは時間切れになったかによって、「メイク」の落書き編集受け付けを終了するか否かを判断する（ステップＳ４０４）。ＣＰＵ７０は「メイク」の落書き編集受け付けを終了しないと判断した場合（Ｓ４０４：ＮＯ）、処理をステップＳ４０２へ戻す。
After processing in step S403, the
ＣＰＵ７０は、ステップＳ４０２にて「ワンタッチ」以外の他のメイクの種類が選択されたと判断した場合（Ｓ４０２：ＹＥＳ）、メイク選択部１０２にて「リップ」が選択されたか否かを判断する（ステップＳ４０５）。ＣＰＵ７０は、ステップＳ４０５にて「リップ」が選択されていると判断した場合（Ｓ４０５：ＹＥＳ）、「リップ」に係る処理を実行し（ステップＳ４０６）、ステップＳ４０４へ処理を進める。「リップ」に係る処理については詳細を後述する。
If
ＣＰＵ７０は、「リップ」が選択されていないと判断した場合（Ｓ４０５：ＮＯ）、「チーク」が選択されたか否かを判断する（ステップＳ４０７）。ＣＰＵ７０は、「チーク」が選択されていると判断した場合（Ｓ４０７：ＹＥＳ）、「チーク」に係る処理を実行し（ステップＳ４０８）、ステップＳ４０４へ処理を進める。「チーク」に係る処理については詳細を後述する。
When the
ＣＰＵ７０は、「チーク」が選択されていないと判断した場合（Ｓ４０７：ＮＯ）、「カラコン」が選択されたか否かを判断する（ステップＳ４０９）。ＣＰＵ７０は、「カラコン」が選択されていると判断した場合（Ｓ４０９：ＹＥＳ）、「カラコン」に係る処理を実行し（ステップＳ４１０）、ステップＳ４０４へ処理を進める。「カラコン」に係る処理については詳細を後述する。
If the
ＣＰＵ７０は、「カラコン」が選択されていないと判断した場合（Ｓ４０９：ＮＯ）、「アイライン」が選択されたか否かを判断する（ステップＳ４１１）。ＣＰＵ７０は、「アイライン」が選択されていると判断した場合（Ｓ４１１：ＹＥＳ）、「アイライン」に係る処理を実行し（ステップＳ４１２）、ステップＳ４０４へ処理を進める。「アイライン」に係る処理については詳細を後述する。
If the
ＣＰＵ７０は、「アイライン」が選択されていないと判断した場合（Ｓ４１１：ＮＯ）、「つけまつげ」が選択されたか否かを判断する（ステップＳ４１３）。ＣＰＵ７０は、「つけまつげ」が選択されていると判断した場合（Ｓ４１３：ＹＥＳ）、「つけまつげ」に係る処理を実行し（ステップＳ４１４）、ステップＳ４０４へ処理を進める。「つけまつげ」に係る処理については詳細を後述する。
When determining that “eye line” is not selected (S411: NO), the
ＣＰＵ７０は、「つけまつげ」が選択されていないと判断した場合（Ｓ４１３：ＮＯ）、「ヘアカラー」が選択されたか否かを判断する（ステップＳ４１５）。ＣＰＵ７０は、「ヘアカラー」が選択されていると判断した場合（Ｓ４１５：ＹＥＳ）、「ヘアカラー」に係る処理を実行し（ステップＳ４１６）、ステップＳ４０４へ処理を進める。「ヘアカラー」に係る処理については詳細を後述する。ＣＰＵ７０は、ステップ４１５にて「ヘアカラー」が選択されていないと判断した場合（Ｓ４１５：ＮＯ）、他のタブ等が選択されているので処理をステップＳ４０４へ進める。
When determining that “false eyelashes” has not been selected (S413: NO), the
ＣＰＵ７０は、ステップＳ４０４にて「メイク」の落書き編集受け付けを終了すると判断した場合（Ｓ４０４：ＹＥＳ）、ＣＰＵ７０は、処理を図７のフローチャートに示したステップＳ３０５へ処理を戻す。
When
次に、図８のフローチャートを参照して説明した「メイク」の落書き編集受け付けの詳細をメイクの種類別に順に説明する。なお以下に説明する複数の種類のメイクについての落書き編集は、撮影により得られた画像上に重畳される複数のレイヤーに夫々対応付けられる。図９は、落書き編集に係るレイヤー構造の一例を模式的に示す説明図である。図９に示すように、撮影により得られた画像データに基づき抽出された１又は複数の人物被写体領域を含む画像上に、６種類のメイク夫々について自動的に描画される画像用のレイヤーが重畳され、更に手動で描画されるメイクの画像のレイヤーが重畳されている。詳細には下から、リップ、チーク、カラコン、アイライン、つけまつげ２（下）、及びつけまつげ１（上）の自動描画用と、ヘアカラー以外の手動描画用、ヘアカラーの手動描画用の順で重畳されている。異なるレイヤーに対応付けて記憶される落書きは、別個に表示／非表示、削除等が可能である。 Next, details of acceptance of graffiti editing for “makeup” described with reference to the flowchart of FIG. 8 will be described in order by makeup type. Note that the doodle editing for a plurality of types of makeup described below is associated with a plurality of layers superimposed on an image obtained by shooting. FIG. 9 is an explanatory diagram schematically showing an example of a layer structure related to graffiti editing. As shown in FIG. 9, an image layer automatically drawn for each of the six types of makeup is superimposed on an image including one or more human subject areas extracted based on image data obtained by shooting. Further, a layer of a makeup image that is manually drawn is superimposed. Specifically, from the bottom, in order of automatic drawing of lip, teak, colored contact lens, eyeline, false eyelash 2 (bottom), false eyelash 1 (top), manual drawing other than hair color, and manual drawing of hair color It is superimposed. Graffiti stored in association with different layers can be displayed / hidden or deleted separately.
＜１．「リップ」について＞
「リップ」について図５の落書き用操作画面の内容例を参照して説明する。「リップ」は唇へ口紅又はリップグロスを塗布するメイクを施したような画像処理を行なう機能である。「リップ」の機能では唇領域を自動的に特定して化粧を施す自動モードのみが存在する。図５中のプレビュー表示部３０１に対応するメイクパレット３１０には、メイク選択部１０２で「リップ」が選択された場合に表示される自動モードのときのキャンバス部１０７の内容例が示されている。「リップ」が選択されている場合、キャンバス部１０７には複数種類のリップスティックに夫々対応した複数のリップ選択アイコン７２１、「リップ」のメイクを消去するＯＦＦボタン７２３、一部を消去する消しゴム選択ボタン７２４が配置される。
<1. About "Lip">
“Lip” will be described with reference to the example of the operation screen for graffiti in FIG. “Lip” is a function of performing image processing such as applying makeup that applies lipstick or lip gloss to the lips. In the “lip” function, there is only an automatic mode for automatically applying makeup by specifying the lip area. A
画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図５のキャンバス部１０７に示されている画像に対応するリップ用の色、テクスチャ及びグラデーションパターンを識別するリップパターン情報を複数種類含む。複数種類のリップパターン情報は例えば、色味の異なる複数のピンク、オレンジ、レッドなどの色情報、色情報に加えて光沢感を出すためのテクスチャ情報、更に上唇と下唇で色味又は濃淡を変化させるグラデーションパターンの情報が含まれる。テクスチャ情報は例えば、微細な粒子又は金属箔が散りばめられたような画像、又は光沢部分のパターン画像を含む。グラデーションパターンの情報は例えば、混合される複数の色の情報と、色を変化させる位置、各色の透明度等の情報を含む。
The
ＣＰＵ７０はまず、「リップ」について以下の事前処理を実行しておく。具体的にはＣＰＵ７０は、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、及び口領域に基づいて、各人物用の顔領域に重畳させる唇画像を作成しておく事前処理を行なう。図１０は、「リップ」用の事前処理の手順の一例を示すフローチャートである。
First, the
ＣＰＵ７０は、複数の画像データから１つの画像データを選択し（ステップＳ５０１）、選択中の画像データにて抽出されている１又は複数の人物被写体領域の内の顔領域の中から１つの顔領域を選択する（ステップＳ５０２）。ＣＰＵ７０は選択した顔領域にて特定されている口領域（上唇及び下唇又は唇全体）の輪郭を特定する（ステップＳ５０３）。ＣＰＵ７０は、特定した輪郭に基づき唇マスク画像を作成し（ステップＳ５０４）、選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ５０５）。
The
ＣＰＵ７０は、記憶した唇マスク画像に基づいてグラフィックボード７３を用い、選択中の顔領域から唇領域を抽出して唇画像を作成する（ステップＳ５０６）。このときＣＰＵ７０は、作成した唇画像を口領域の中心から外側へ向けて１又は複数画素分拡大しておいてもよい。異なる画素数分拡大した複数の唇画像を段階的に作成してもよい。
The
ＣＰＵ７０は、ＨＤＤ７２に記憶されている複数種類のリップパターン情報の内、１つのリップパターン情報を選択し（ステップＳ５０７）、選択したリップパターン情報に含まれる情報に基づく色、テクスチャ、及びグラデーションパターンによって唇画像を塗る描画処理を行なう（ステップＳ５０８）。ＣＰＵ７０は、処理後の唇画像を選択中の顔領域、及び選択中のリップパターン情報と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ５０９）。ＣＰＵ７０は、ステップＳ５０８及びステップＳ５０９の処理を、１つの唇画像の１つのリップパターン情報に対し、濃淡、透明度又は重畳させるテクスチャ画像の透明度等を予め記憶してある複数の段階で変更して実行し、各段階の唇画像を区別して記憶する。したがってＣＰＵ７０は、複数段階全てについて処理を行なったか否か判断し（ステップＳ５１０）、未処理の段階があると判断した場合（Ｓ５１０：ＮＯ）、処理をステップＳ５０８へ戻して未処理の段階について処理を実行する。
The
ＣＰＵ７０は、ステップＳ５１０にて予め記憶してある複数段階全てについて処理を行なったと判断した場合（Ｓ５１０：ＹＥＳ）、全てのリップパターン情報を選択したか否かを判断する（ステップＳ５１１）。未選択のリップパターン情報が存在すると判断された場合（Ｓ５１１：ＮＯ）、ＣＰＵ７０は処理をステップＳ５０７へ戻す。
When
ＣＰＵ７０は、全てのリップパターン情報を選択したと判断した場合（Ｓ５１１：ＹＥＳ）、画像データ中の全ての顔領域を選択したか否かを判断する（ステップＳ５１２）。ＣＰＵ７０は、未選択の顔領域が存在すると判断した場合（Ｓ５１２：ＮＯ）、処理をステップＳ５０２へ戻す。ＣＰＵ７０はステップＳ５１２で全ての顔領域を選択したと判断した場合（Ｓ５１２：ＹＥＳ）、撮影回数分の全画像データを選択したか否かを判断し（ステップＳ５１３）、未選択の画像データが存在すると判断した場合（Ｓ５１３：ＮＯ）、処理をステップＳ５０１へ戻す。ＣＰＵ７０は、全画像データを選択したと判断した場合（Ｓ５１３：ＹＥＳ）、「リップ」用の事前処理を終了する。
When determining that all the lip pattern information has been selected (S511: YES), the
次に、落書き用操作画面でユーザが操作している間の「リップ」についてのリアルタイム処理について説明する。図１１は、「ＭＡＫＥ」の操作の受け付け中における「リップ」に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４０６の詳細に対応する。 Next, real-time processing for “lip” while the user is operating on the operation screen for graffiti will be described. FIG. 11 is a flowchart illustrating an example of a processing procedure related to “lip” during reception of an operation of “MAKE”. The process described below corresponds to the details of step S406 in the flowchart of FIG.
ＣＰＵ７０はまず、自動モードのみに実行すべき個別／全員切替処理を実行する（ステップＳ６０１）。ステップＳ６０１で実行される個別／全員切替処理について説明する。図１２は、個別／全員切替処理の一例の詳細を示すフローチャートである。ＣＰＵ７０は、個別／全員切替処理の実行がメイクに係る処理の中で初回であるか否かを判断し（ステップＳ３００１）、初回であると判断した場合（Ｓ３００１：ＹＥＳ）、初期的に「みんな」を選択し（ステップＳ３００２）、特定されている全部の顔領域を含む所定範囲の画像を顔サンプル表示部１０３に表示する（ステップＳ３００３）。ＣＰＵ７０は、顔切替部１０６を無効化し（ステップＳ３００４）、次のステップＳ３００５へ処理を進める。初回以外では、異なるメイクの種類が選択された場合でも直前に個別を選択していたのか、全員を選択していたのかを保持しておくためである。
First, the
ステップＳ３００１にて初回でないと判断された場合（Ｓ３００１：ＮＯ）、及びＳ３００４の後は、ＣＰＵ７０は「みんな」が選択中であるか否かを判断する（ステップＳ３００５）。「みんな」が選択中であると判断された場合（Ｓ３００５：ＹＥＳ）、ＣＰＵ７０は個別選択部１０４により「個別」が選択されたか否かを判断する（ステップＳ３００６）。「個別」が選択されていないと判断された場合（Ｓ３００６：ＮＯ）、ＣＰＵ７０は、編集対象の画像データにて特定された全顔領域をメイク対象とし（ステップＳ３００７）、個別／全員切替処理を終了し、各別のメイク編集を受け付ける処理を続行する。
When it is determined in step S3001 that it is not the first time (S3001: NO), and after S3004, the
ステップＳ３００６にて個別選択部１０４がタッチペン３１ａによって選択され、「個別」が選択されたと判断された場合（Ｓ３００６：ＹＥＳ）、ＣＰＵ７０は顔切替部１０６を有効化すると共に（ステップＳ３００８）、編集対象の画像データにて特定されている全顔領域の内の１つの顔領域を選択する（ステップＳ３００９）。ＣＰＵ７０は選択された顔領域を含む画像を顔サンプル部１０３に表示し（ステップＳ３０１０）、選択されている顔領域をメイク対象とし（ステップＳ３０１１）、個別／全員切替処理を終了し、各別のメイク編集を受け付ける処理を続行する。
If the
ステップＳ３００５にて「みんな」が選択中でないと判断された場合（Ｓ３００５：ＮＯ）、ＣＰＵ７０は顔切替部１０６がタッチペン３１ａによって選択されたか否かを判断する（ステップＳ３０１２）。ＣＰＵ７０は、顔切替部１０６が選択されたと判断した場合（Ｓ３０１２：ＹＥＳ）、選択されている顔領域に対して他の顔領域を巡回的に選択し（ステップＳ３０１３）、処理をステップＳ３０１０へ進める。
When it is determined in step S3005 that “Everyone” is not selected (S3005: NO), the
ステップＳ３０１２にて顔切替部１０６が選択されていないと判断された場合（Ｓ３０１２：ＮＯ）、全員選択部１０５がタッチペン３１ａによって選択され、「みんな」が選択されたか否かを判断する（ステップＳ３０１４）。「みんな」が選択されたと判断された場合（Ｓ３０１４：ＹＥＳ）、ＣＰＵ７０は特定されている全部の顔領域を含む所定範囲の画像を顔サンプル表示部１０３に表示し（ステップＳ３０１５）、顔切替部１０６を無効化して（ステップＳ３０１６）、処理をステップＳ３００７へ進める。
If it is determined in step S3012 that the
ステップＳ３０１４にて「みんな」が選択されていないと判断された場合（Ｓ３０１４：ＮＯ）、他の部分が選択されたか編集処理がなされているので、ＣＰＵ７０は処理を図７のフローチャートへ戻し、他の操作を受け付ける処理を続行する。
If it is determined in step S3014 that “Everyone” has not been selected (S3014: NO), the
このように、本実施の形態における「メイク」の落書き編集受け付けでは、メイク対象を個別／全員で切り替えることが可能である。したがって複数のユーザで複数の撮影がなされた場合に、複数回の撮影に対応する複数の画像データ毎に、全員分の顔領域に同一のメイクを施す画像処理を行なうのか、個別の顔領域に夫々異なるメイクを施す画像処理を行なうのかを、ユーザが選択することが可能である。 As described above, in the “make-up” graffiti editing acceptance in the present embodiment, the makeup object can be switched individually / all. Therefore, when a plurality of images are taken by a plurality of users, image processing for applying the same makeup to the face area for all members is performed for each of a plurality of image data corresponding to a plurality of times of shooting, or the individual face areas are The user can select whether to perform image processing for applying different makeups.
図１１のフローチャートに戻り、説明を続ける。ＣＰＵ７０は個別／全員切替処理を行なった後、リップ選択アイコン７２１が選択されたか否かを判断する（ステップＳ６０２）。ＣＰＵ７０は、リップ選択アイコン７２１が選択されたと判断した場合（Ｓ６０２：ＹＥＳ）、選択されたリップ選択アイコン７２１に対応するリップパターン情報を識別する（ステップＳ６０３）。
Returning to the flowchart of FIG. 11, the description will be continued. After performing the individual / all members switching process, the
ＣＰＵ７０は、メイク対象の顔領域（「個別」が選択されている場合は選択中の１つの顔領域、「みんな」が選択されている場合は全顔領域）に対応付けて記憶されている各顔領域に対して位置が決定され、拡縮、回転等の変形が完了している唇画像の内、ステップＳ６０３で識別されたリップパターン情報が対応付けられている唇画像を抽出する（ステップＳ６０４）。ＣＰＵ７０は、抽出した唇画像の内、複数の段階の内の所定の段階（例えば中央の段階）で処理が実行された唇画像を選択し（ステップＳ６０５）、選択した唇画像を、リップの自動描画用のレイヤーにおける対応する顔領域に対応する位置に重畳させて表示する（ステップＳ６０６）。これにより、プレビュー表示部３０１の対応する顔領域内の唇の位置に唇画像が重畳される。
The
ＣＰＵ７０は更に、プレビュー表示部３０１中のメイク対象の顔領域の近傍の唇画像以外の位置に、調整用画面を更に重畳させて表示する（ステップＳ６０７）。調整用画面が重畳されるレイヤーは図９に示した各メイク用のレイヤーよりも上である。調整用画面には複数の段階を調整するためのスライダーコントロール及びＯＫボタンが含まれている。ＣＰＵ７０は、調整用画面のＯＫボタンが選択されたか否かを判断し（ステップＳ６０８）、ＯＫボタンが選択された場合（Ｓ６０８：ＹＥＳ）、表示中の唇画像を確定させて記憶し（ステップＳ６０９）、調整用画面を非表示とし（ステップ６１０）、「リップ」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
The
ステップＳ６０８にてＯＫボタンが選択されていないと判断された場合（Ｓ６０８：ＮＯ）、ＣＰＵ７０は、スライダーコントロールが選択された否かを判断する（ステップＳ６１１）。ＣＰＵ７０はスライダーコントロールが選択されたと判断した場合（Ｓ６１１：ＹＥＳ）、スライダーコントロールのつまみの動き、「＋」「−」の選択、又は直接的に選択された段階に応じて、表示中の唇画像を他の段階（連続する段階）で処理が実行された唇画像へ差し替え（ステップＳ６１１）、処理をステップＳ６０８へ戻す。
If it is determined in step S608 that the OK button has not been selected (S608: NO), the
ステップＳ６１１にてスライダーコントロールが選択されていないと判断した場合（Ｓ６１１：ＮＯ）、ＣＰＵ７０は調整用画面外が選択されたか否かを判断する（ステップＳ６１３）。ＣＰＵ７０は、調整用画面外が選択されていないと判断した場合（Ｓ６１３：ＮＯ）、処理をステップＳ６０８へ戻す。なお、ＣＰＵ７０はＣＡＮＣＥＬボタンを更に含む調整用画面を表示するようにし、ＯＫボタン又はＣＡＮＣＥＬボタンのいずれかが選択されるまで待機するようにしてもよい。
If it is determined in step S611 that the slider control is not selected (S611: NO), the
ステップＳ６１３にて調整用画面外が選択されたと判断した場合（Ｓ６１３：ＹＥＳ）、ＣＰＵ７０は表示している唇画像をキャンセル扱いとして非表示とし、更に調整用画像を非表示とし（ステップＳ６１４）、「リップ」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
If it is determined in step S613 that the outside of the adjustment screen has been selected (S613: YES), the
ＣＰＵ７０は、ステップＳ６０２にてリップ選択アイコン７２１が選択されていないと判断した場合（Ｓ６０２：ＮＯ）、ＯＦＦボタン７２３が選択されたか否かを判断する（ステップＳ６１５）。ＣＰＵ７０はＯＦＦボタン７２３が選択されたと判断した場合（Ｓ６１５：ＹＥＳ）、表示している唇画像を非表示として確定を解除し（ステップＳ６１６）、「リップ」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
If the
ＣＰＵ７０は、ＯＦＦボタン７２３が選択されていないと判断した場合（Ｓ６１５：ＮＯ）、そのまま「リップ」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
When the
なお消しゴム選択ボタン７２４については、ＣＰＵ７０は、消しゴム選択ボタン７２４が選択された後にタッチペン３１ａの接触箇所に対応する軌跡の座標情報を記憶し、記憶した座標情報に沿って、選択された太さにて唇画像の一部を非表示（透明）にすればよい。
For the
図１３は、調整用画面の表示例を示す説明図であり、図１４は、調整用画面によって調整されるリップメイクの内容例を示す説明図である。図１３にはプレビュー表示部３０１に表示されているメイク対象の顔領域に、調整用画面３０５が重畳表示されていることが示されている。調整用画面３０５にはスライダーコントロール３０６、及びＯＫボタン３０７が含まれている。図１４に示すように、スライダーコントロール３０６のつまみの位置に応じて、プレビュー表示部３０１に表示されているメイク対象の顔領域に重畳されている唇画像が差し替えられる。唇画像が、１つのリップパターン情報に対し、光沢感を出すテクスチャ画像の透明度等を予め記憶してある複数の段階で変更して作成されている場合、唇画像の差し替えによって光沢感の強弱が変更される。これによりユーザは、マット感のある唇から、グロスを乗せたような光沢感の唇までの間で、リップメイクの光沢感の強弱を好みに合わせて調整することができる。なお、色の濃淡を調整できるようにしてもよい。なおスライダーコントロール３０６ではなく、リップの光沢感の強弱を段階的に選択することが可能な他のコントロールであってもよい。
FIG. 13 is an explanatory view showing a display example of an adjustment screen, and FIG. 14 is an explanatory view showing an example of the contents of lip makeup adjusted by the adjustment screen. FIG. 13 shows that an
＜２．「チーク」について＞
「チーク」について図５の落書き用操作画面の内容例を参照して説明する。「チーク」は、頬領域への頬紅を塗布するメイクを施したような画像処理を行なう機能である。「チーク」の機能では頬領域を自動的に特定して化粧を施す自動モードと、ユーザが手動操作によって頬領域にチーク用画像を配置する手動モードとがあり、いずれか選択できる。なお顔領域及び頬領域の特定に成功している場合、初期的には自動モードが選択される。顔領域及び頬領域の特定に失敗した場合は、手動モードのみで以下に示す処理が実行される。図５中のプレビュー表示部３０２に対応するメイクパレット３１０には、メイク選択部１０２で「チーク」が選択された場合に表示される自動モードのときのキャンバス部１０７の内容例が示されている。自動モードにおけるキャンバス部１０７には複数種類のチークに夫々対応した複数のチーク選択アイコン７３１、「チーク」のメイク操作を手動モードに切り替えるための手動ボタン７３２、「チーク」のメイクを消去するＯＦＦボタン７３３、及び一部を消去する消しゴム選択ボタン７３４が含まれる。
<2. About "Teak">
“Teak” will be described with reference to the example of the operation screen for graffiti in FIG. “Teak” is a function of performing image processing as if makeup was applied to apply blusher to the cheek area. The “cheek” function includes an automatic mode in which a cheek region is automatically specified and makeup is applied, and a manual mode in which the user places a cheek image in the cheek region by a manual operation. Note that when the identification of the face area and the cheek area is successful, the automatic mode is initially selected. When the identification of the face area and the cheek area fails, the following processing is executed only in the manual mode. A
画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図５のキャンバス部１０７に示されている画像に対応する複数種類のチーク用画像を含む。チーク用画像は例えば、略円形、ハート形、卵形、扁平な楕円形などの形状で、ピンク、レッド、オレンジ等の異なる色で彩色されている。またチーク用画像は夫々、半透明であって更に周囲がぼかされていて顔領域上に重畳された場合に自然に見えるようにしてある。チーク用画像は各形状及び色に加え、透明でないラメ、ホログラム、ラインストーン、スタッズ、又はシール等の光輝を放つ装飾物の画像が含まれるものもある。これらの装飾用の画像によって、頬骨周辺にキラキラとした光輝を放つ細粒等を散りばめるメイクを施したような画像を顔領域に重畳させることが可能である。
The
ＣＰＵ７０は「チーク」について以下の事前処理を実行しておく。具体的にはＣＰＵ７０は、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、各器官領域に基づいて、各人物の顔領域に重畳させるチーク用画像の色の変更、拡縮、傾きの変更等をしておく事前処理を行なう。図１５は、「チーク」用の事前処理の手順の一例を示すフローチャートである。
The
ＣＰＵ７０は、複数の画像データから１つの画像データを選択し（ステップＳ７０１）、選択中の画像データにて抽出されている１又は複数の人物被写体領域の内の顔領域の中から１つの顔領域を選択する（ステップＳ７０２）。ＣＰＵ７０は選択した顔領域にて特定されている顔の輪郭、及び各器官領域に基づき、顔領域内の所定の位置（中心を通る中心線の座標等）及びチーク領域を特定する（ステップＳ７０３）。チーク領域は、特定されている顔の輪郭、目の輪郭の下部分、及び鼻の輪郭で囲まれる左右に分かれた領域である。ＣＰＵ７０は、特定したチーク領域のチークマスク画像を作成し（ステップＳ７０４）、選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ７０５）。
The
ＣＰＵ７０は、メイク用情報７２０中の複数種類のチーク用画像の内の１つを選択し（ステップＳ７０６）、ステップＳ７０３で特定した顔領域内の所定の位置又はチーク領域に基づいて、選択中のチーク用画像を重畳させる位置（画像内の座標）、大きさ、及び傾きを決定する（ステップＳ７０７）。ＣＰＵ７０は、選択中のチーク用画像を、ステップＳ７０７で決定した位置に、決定した大きさ及び傾きで配置した重畳用のチーク用画像を、選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ７０８）。ＣＰＵ７０は、ステップＳ７０８で記憶した重畳用のチーク用画像の色の濃淡又は透明度を予め記憶してある複数の段階で変更し、複数の段階の重畳用のチーク用画像を区別してメモリ７１又はＨＤＤ７２に記憶する（ステップＳ７０９）。
The
次にＣＰＵ７０は、全てのチーク用画像を選択したか否かを判断する（ステップＳ７１０）。未選択のチーク用画像が存在すると判断された場合（Ｓ７１０：ＮＯ）、ＣＰＵ７０は処理をステップＳ７０６へ戻す。
Next, the
ＣＰＵ７０は、全てのチーク用画像を選択したと判断した場合（Ｓ７１０：ＹＥＳ）、画像データ中の全ての顔領域を選択したか否かを判断する（ステップＳ７１１）。ＣＰＵ７０は、未選択の顔領域が存在すると判断した場合（Ｓ７１１：ＮＯ）、処理をステップＳ７０２へ戻す。ＣＰＵ７０はステップＳ７１１で全ての顔領域を選択したと判断した場合（Ｓ７１１：ＹＥＳ）、撮影回数分の全画像データを選択したか否かを判断し（ステップＳ７１２）、未選択の画像データが存在すると判断した場合（Ｓ７１２：ＮＯ）、処理をステップＳ７０１へ戻す。ＣＰＵ７０は、全画像データを選択したと判断した場合（Ｓ７１２：ＹＥＳ）、「チーク」用の事前処理を終了する。このようにチーク用画像は顔領域の位置及び大きさ、前記複数の画素の配列方向に対する角度に基づき、顔領域内に収まるように変形され、決定された位置、大きさ、角度で重畳される。なおＣＰＵ７０は、顔領域及び頬領域の特定に失敗した場合、図１５のフローチャートに示した事前処理に係る処理は実行しない。
When determining that all the cheek images have been selected (S710: YES), the
次に、落書き用操作画面でユーザが操作している間の「チーク」についてのリアルタイム処理について説明する。図１６は、「ＭＡＫＥ」の操作の受け付け中における「チーク」に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４０８の詳細に対応する。 Next, real-time processing for “teak” while the user is operating on the operation screen for graffiti will be described. FIG. 16 is a flowchart illustrating an example of a processing procedure related to “teak” during reception of an operation of “MAKE”. The process described below corresponds to the details of step S408 in the flowchart of FIG.
ＣＰＵ７０はまず、自動モードが選択されているか否かを判断する（ステップＳ８０１）。ＣＰＵ７０は、自動モードが選択されていると判断した場合（Ｓ８０１：ＹＥＳ）、図１２のフローチャートに示した個別／全員切替処理を実行してメイク対象を判別する（ステップＳ８０２）。
First, the
ＣＰＵ７０は、チーク選択アイコン７３１が選択されたか否かを判断する（ステップＳ８０３）。ＣＰＵ７０は、チーク選択アイコン７３１が選択されたと判断した場合（Ｓ８０３：ＹＥＳ）、選択されたチーク選択アイコン７３１に対応するチーク用画像を識別する（ステップＳ８０４）。
ＣＰＵ７０は、メイク対象の顔領域（「個別」が選択されている場合は選択中の１つの顔領域、「みんな」が選択されている場合は全顔領域）に対応付けて記憶されているチーク用画像の内、ステップＳ８０４で識別されたチーク用画像に対応する重畳用のチーク用画像（位置、大きさ、角度等決定、変形、配置済み）を記憶されている中から抽出する（ステップＳ８０５）。ＣＰＵ７０は、抽出した重畳用のチーク用画像の内、複数の段階の内の略中央の段階で処理が実行された重畳用のチーク用画像を選択し（ステップＳ８０６）、選択した重畳用のチーク用画像を、チークの自動描画用のレイヤーにおける対応する顔領域上の対応する位置に重畳するように、チーク用マスク画像を利用して表示する（ステップＳ８０７）。これにより、プレビュー表示部３０２の対応する顔領域内の頬領域に重畳用のチーク用画像が重畳される。
The
ＣＰＵ７０は、レビュー表示部３０２中のメイク対象の顔領域の近傍のチーク領域以外の位置に、調整用画面を更に重畳させて表示する（ステップＳ８０８）。調整用画面には複数の段階間を調整するためのスライダーコントロール及びＯＫボタンが含まれている。ＣＰＵ７０は、調整用画面のＯＫボタンが選択されたか否かを判断し（ステップＳ８０９）、ＯＫボタンが選択されたと判断した場合（Ｓ８０９：ＹＥＳ）、表示中の重畳用のチーク用画像を確定させて記憶し（ステップＳ８１０）、調整用画面を非表示とし（ステップＳ８１１）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
The
ステップＳ８０９にてＯＫボタンが選択されていないと判断された場合（Ｓ８０９：ＮＯ）、ＣＰＵ７０は、スライダーコントロールが選択された否かを判断する（ステップＳ８１２）。ＣＰＵ７０はスライダーコントロールが選択されたと判断した場合（Ｓ８１２：ＹＥＳ）、スライダーコントロールのつまみの動き、「＋」「−」の選択、「＋」「−」の選択、又は直接的に選択された段階に応じて、表示中の重畳用のチーク用画像を他の段階（隣接する段階の濃淡又は透明度）で処理が実行されたチーク用画像へ差し替えることで変更し（ステップＳ８１３）、処理をステップＳ８０９へ戻す。
If it is determined in step S809 that the OK button has not been selected (S809: NO), the
ステップＳ８１２にてスライダーコントロールが選択されていないと判断された場合（Ｓ８１２：ＮＯ）、ＣＰＵ７０は調整用画面外が選択されたか否かを判断する（ステップＳ８１４）。ＣＰＵ７０は、調整用画面外が選択されていないと判断した場合（Ｓ８１４：ＮＯ）、処理をステップＳ８０９へ戻す。なおＣＰＵ７０はＣＡＮＣＥＬボタンを更に含む調整用画面を表示するようにし、ＯＫボタン又はＣＡＮＣＥＬボタンのいずれかのボタンが選択されるまで待機するようにしてもよい。
If it is determined in step S812 that the slider control is not selected (S812: NO), the
ステップＳ８１４にて調整用画面外が選択されたと判断された場合（Ｓ８１４：ＹＥＳ）、ＣＰＵ７０は、表示している重畳用のチーク用画像をキャンセル扱いとして非表示とし、更に調整用画面を非表示とし（ステップＳ８１５）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
If it is determined in step S814 that the outside of the adjustment screen has been selected (S814: YES), the
このように自動的にチーク用画像の位置を決定して変形したものを重畳させ、調整用画面にて複数段階への変更を受け付ける処理により、図１３及び図１４で示した「リップ」の調整用画面を用いた操作と同様に、「チーク」の濃淡が変更されたチーク用画像の差し替えが行なわれる。これにより、ユーザは、自動的に配置されたチーク用画像の濃淡を直感的に調整することができる。なおチーク用画像における濃淡又は透明度は、事前処理ではなく「チーク」に係る処理中のステップＳ８１３にてグラフィックボード７３を使用してリアルタイムに変更して表示するようにしてもよい。なおスライダーコントロール３０６ではなく、チークの濃淡又は透明度を段階的に選択することが可能な他のコントロールによって変更を受け付けるようにしてもよい。
By automatically determining the position of the cheek image in this way and superimposing the deformed image and accepting the change to multiple stages on the adjustment screen, the adjustment of the “lip” shown in FIGS. 13 and 14 is performed. In the same manner as the operation using the work screen, the teak image in which the density of “teak” is changed is replaced. As a result, the user can intuitively adjust the density of the automatically arranged cheek image. Note that the density or transparency in the cheek image may be changed and displayed in real time using the
ＣＰＵ７０は、ステップＳ８０３にてチーク選択アイコン７３１が選択されていないと判断した場合（Ｓ８０３：ＮＯ）、ＯＦＦボタン７３３が選択されたか否かを判断する（ステップＳ８１６）。ＣＰＵ７０はＯＦＦボタン７３３が選択されたと判断した場合（Ｓ８１６：ＹＥＳ）、表示しているチーク用画像を非表示として確定を解除し（ステップＳ８１７）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。ＣＰＵ７０は、ステップＳ８１６にてＯＦＦボタン７３３が選択されていないと判断した場合（Ｓ８１６：ＮＯ）、そのまま「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
When determining that the
ステップＳ８０１にて、手動ボタン７３２が選択されたことにより手動モードが選択されていると判断された場合（Ｓ８０１：ＮＯ）、ＣＰＵ７０は図６に示した手動モードの場合のメイクパレット３１０にて操作を受け付ける。図６に示すように手動モードの場合、キャンバス部１０７には、チーク選択アイコン７３１、メイク操作を自動モードへ切り替えるための自動ボタン７３５、及び描画されたチークの一部を消去する消しゴム選択ボタン７３６が含まれる。ユーザは、手動モードにてチークに係るメイクの操作を行なう場合、タッチペン３１ａにてチーク選択アイコン７３１を選択し、素材サンプル表示部１０８の内容を確認しながら、対応するプレビュー表示部３０２にドラッグし、チーク用画像を重畳させたい場所でタッチペン３１ａをディスプレイ３０ａから離す。ＣＰＵ７０はタッチペン３１ａがディスプレイ３０ａから離れた箇所を特定し、特定した箇所の位置に選択されたチーク選択アイコン７３１に対応するチーク用画像を重畳させる。
If it is determined in step S801 that the manual mode is selected because the
具体的にはＣＰＵ７０はチーク選択アイコン７３１が選択されたか否かを判断する（ステップＳ８１８）。ＣＰＵ７０は、手動モードにてチーク選択アイコン７３１が選択されたと判断した場合（Ｓ８１８：ＹＥＳ）、選択されたチーク選択アイコン７３１に対応するチーク用画像を識別する（ステップＳ８１９）。ＣＰＵ７０は、手動モードの場合の操作画面に対する上述のような手動操作を受け付け（ステップＳ８２０）、識別されているチーク用画像をＨＤＤ７２のメイク用情報７２０から読み出し、ヘアカラー以外の手動描画用のレイヤー上で、手動操作に基づいて特定された位置に重畳するように、読み出したチーク用画像を表示する（ステップＳ８２１）。これにより、プレビュー表示部３０２の対応する顔領域内の頬領域に、選択されたチーク選択アイコン７３１に対応するチーク用画像（元の大きさ、角度）が重畳される。
Specifically, the
次にＣＰＵ７０は、手動操作を受け付ける場合も、調整用画面を更に重畳させて表示する（Ｓ８０８）。手動操作を受け付ける場合の調整用画面には、回転角度を調整するための回転ボタン（例えば一回に画面上で時計回り又は反時計回りに３度ずつ回転）、手動描画用のレイヤーに重畳させたチーク用画像の大小を調整するスライダーコントロール、濃淡を調整するためのスライダーコントロール及びＯＫボタンが含まれている。
Next, when accepting a manual operation, the
図１７は、手動モードの場合の調整用画面の表示例を示す説明図である。図１７にはプレビュー表示部３０２に表示されているメイク対象の顔領域に重畳されて手動操作時の調整用画面３０８が表示されていることが示されている。手動モードにおける調整用画面が表示される際には、プレビュー表示部３０１内を拡大し、表示箇所を移動できるように移動ＯＮボタン３０９１及び拡大表示ボタン３０９２が落書き用操作画面に選択可能に配置される。拡大表示ボタン３０９２が選択された場合、顔領域を含む部分が表示されるように、撮影により得られた画像の上部分を所定の倍率でズームアップ表示するようにするとよい。またチークに係る処理における手動操作時の調整用画面３０８には、上述の回転ボタン３０８１、大小を調整するスライダーコントロール３０８２、濃淡を調整するためのスライダーコントロール３０８３及びＯＫボタン３０７が含まれている。なお手動モードにおける調整用画面は、落書き用操作画面内のペンパレット３０３及びメイクパレット３０４と重畳しない位置に移動が可能とすることにより操作性を向上させる。ただし、プレビュー表示部３０１に対応する調整用画面はプレビュー表示部３０２側には移動できないように（逆も同様に）、移動が制限されるとよい。
FIG. 17 is an explanatory diagram illustrating a display example of the adjustment screen in the manual mode. FIG. 17 shows that an
図１６のフローチャートに戻り説明を続ける。ＣＰＵ７０は、図１７に示したような手動用の調整用画面にてＯＫボタンが選択されたか否かを判断し（Ｓ８０９）、ＯＫボタンが選択されたと判断した場合は（Ｓ８０９：ＹＥＳ）、表示中の重畳用のチーク用画像を確定させて記憶し（Ｓ８１０）、調整用画面を非表示として（Ｓ８１１）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。また、手動モードにおける調整用画面にていずれかのスライダーコントロールが選択されたか否かを判断し（Ｓ８１２）、ＣＰＵ７０はスライダーコントロールが選択されたと判断した場合（Ｓ８１２：ＹＥＳ）、スライダーコントロールのつまみの動き、「＋」「−」の選択、又は直接的に選択される段階に応じて、表示中の重畳用のチーク用画像の角度、大きさ、濃淡を変更し（Ｓ８１３）、処理をステップＳ８０９へ戻す。これによりユーザは、タッチペン３１ａのドラッグによって指定した位置に重畳されているチーク用画像の角度、サイズ、濃淡を調整用画面３０８にて調整することが可能である。同様にしてＣＰＵ７０は、手動モードの調整用画面においても調整用画面外が選択されたと判断した場合（Ｓ８１４：ＹＥＳ）、表示しているチーク用画像をキャンセル扱いとして非表示及び調整用画面を非表示とし（Ｓ８１５）、「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
Returning to the flowchart of FIG. The
ＣＰＵ７０は、ステップＳ８１８で手動モードの場合においてチーク選択アイコン７３１が選択されていないと判断した場合（Ｓ８１８：ＮＯ）、自動ボタン７３５が選択されたか否かを判断する（ステップＳ８２２）。ＣＰＵ７０は自動ボタン７３５が選択されたと判断した場合（Ｓ８２２：ＹＥＳ）、処理をステップＳ８０１へ戻し、自動モードが選択されていると判断して処理を続行する。
If the
ＣＰＵ７０は、ステップＳ８２２で自動ボタン７３５が選択されていないと判断した場合（Ｓ８２２：ＮＯ）、そのまま「チーク」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
If the
このように手動モードにてチーク用画像を重畳させる場合も、プレビュー表示部３０２に表示される調整用画面３０８にて大小、角度、濃淡への変更を受け付ける処理により、ユーザは、詳細な調整を直感的に行なうことができる。また手動モードで重畳されるチーク用画像と、自動モードで重畳されるチーク用画像とが別のレイヤー上に描画されて別個に記憶されるため、重ね付けも可能である。なお、手動ボタン７３２が選択された場合に、自動描画用のレイヤーにおけるチーク用画像を非表示とし、手動モードで受け付けたチーク用画像のみを表示し、逆に、自動ボタン７３５が選択された場合に、手動描画用のレイヤーにおけるチーク用画像を非表示とするようにしていずれか一方に切り替えるようにしてもよい。
As described above, even when the cheek image is superimposed in the manual mode, the user can make detailed adjustments by the process of accepting the change to the size, angle, and shade on the
なおＣＰＵ７０は、自動モード時のキャンバス部１０７における消しゴム選択ボタン７３４が選択された場合、その後のタッチペン３１ａの軌跡を記憶し、チークの自動描画用のレイヤーにおける重畳用のチーク用画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）とする。同様に、手動モード時のキャンバス部１０７における消しゴム選択ボタン７３６が選択された場合は同様の処理を、手動描画用のレイヤーに対して行なえばよい。なお手動描画用のレイヤーもメイクの種類別に分けてもよいが、本実施の形態では図９に示した通りヘアカラー以外については共通としている。したがって他のメイクに係る画像の一部を透明としないようにメイクの種類別に領域を識別しておいてもよい。
When the
＜３．「カラコン」について＞
「カラコン」について画面例を参照して説明する。「カラコン」はカラコンを装着させたような画像処理を行なう機能である。「カラコン」の機能では目の領域及び虹彩の領域を自動的に特定してカラコンを画像処理で装着させる自動モードと、ユーザが手動操作によって目の領域にカラコン画像を配置する手動モードとがあり、いずれか選択できる。なお「カラコン」の機能においても目の領域及び虹彩の領域の特定に成功している場合、初期的に自動モードが選択され、特定に失敗している場合は手動モードのみで以下の処理が実行される。図１８は、「カラコン」が選択されている場合のメイクパレット３１０の表示例を示す説明図である。図１８には自動モードのときのキャンバス部１０７の内容例が示されている。「カラコン」が選択されている場合の自動モードにおけるキャンバス部１０７には複数種類のカラコンに夫々対応したカラコン選択アイコン７４１、手動モードへ切り替えるための手動ボタン７４２、「カラコン」のメイクを消去するＯＦＦボタン７４３、及び一部を消去する消しゴム選択ボタン７４４が配置される。「カラコン」が選択されている場合の手動モードにおけるメイクパレット３１０の画面例については「チーク」における例（図６）と同様であるから説明を省略する。
<3. About Colorcon>
“Color control” will be described with reference to a screen example. “Color control” is a function for performing image processing as if a color control was mounted. In the “Colorcon” function, there are an automatic mode in which the eye area and iris area are automatically specified and a color contact lens is mounted by image processing, and a manual mode in which the user places a color image in the eye area by manual operation. , You can choose either. In the “Color Control” function, if the eye area and iris area are successfully identified, the automatic mode is selected initially. If the identification fails, the following processing is executed only in the manual mode. Is done. FIG. 18 is an explanatory diagram showing a display example of the
画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図１８のキャンバス部１０７のカラコン選択アイコン７４１の画像に対応する複数種類のカラコン画像を含む。カラコン画像は例えば、褐色、灰色、緑色等の異なる色、及び異なる着色範囲のカラーコンタクトレンズの画像である。
The
ＣＰＵ７０は「カラコン」について以下の事前処理を実行しておく。なお以下の処理は目の領域及び虹彩の領域の特定に失敗している場合は実行されない。具体的にはＣＰＵ７０は、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、目の領域に基づいて、各人物の顔領域に重畳させるカラコン画像の拡縮等をしておく事前処理を行なう。図１９は、「カラコン」用の事前処理の手順の一例を示すフローチャートである。
The
ＣＰＵ７０は、複数の画像データから１つの画像データを選択し（ステップＳ９０１）、選択中の画像データにて抽出されている１又は複数の人物被写体領域の内の顔領域の中から１つの顔領域を選択する（ステップＳ９０２）。ＣＰＵ７０は選択した顔領域にて特定されている目の領域に基づき、目の輪郭及び虹彩（黒目部分）の輪郭（輪郭上の複数点の座標上方）並びに虹彩領域の中心位置を特定する（ステップＳ９０３）。
The
ＣＰＵ７０は、特定した輪郭に基づき、目マスク画像及び虹彩マスク画像を作成し（ステップＳ９０４）、虹彩マスク画像に基づき虹彩部分の画素の行方向における最大の大きさ及び列方向における最大の大きさを特定し（ステップＳ９０５）、特定した大きさに所定の比率を乗算して得られる円形の半径に基づき、カラコン画像の拡縮率を算出する（ステップＳ９０６）。
The
ＣＰＵ７０は、メイク用情報７２０中の複数種類のカラコン画像の内の１つを選択し（ステップＳ９０７）、ステップＳ９０３で特定した各虹彩領域の中心位置に基づき、ステップＳ９０７で選択したカラコン画像を重畳させる位置を決定し（ステップＳ９０８）、決定した位置に配置したカラコン画像をステップＳ９０６で算出した拡縮率で拡縮し（ステップＳ９０９）、決定した位置に拡縮されて配置されたカラコン画像と、目マスク画像４０２とのＡＮＤ演算により重畳用のカラコン画像を作成する（ステップＳ９１０）。ＣＰＵ７０は、選択中のカラコン画像を識別する情報と、ステップＳ９１０で作成した重畳用のカラコン画像を、選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ９１１）。ＣＰＵ７０は、ステップＳ９１１で記憶した重畳用のカラコン画像の色の濃淡又は透明度を予め記憶してある複数の段階で変更し、各段階の重畳用のカラコン画像を区別してメモリ７１又はＨＤＤ７２に記憶する（ステップＳ９１２）。
The
ＣＰＵ７０は、全てのカラコン画像を選択したか否かを判断する（ステップＳ９１３）。未選択のカラコン画像が存在すると判断された場合（Ｓ９１３：ＮＯ）、ＣＰＵ７０は処理をステップＳ９０７へ戻す。
The
ＣＰＵ７０は、全てのカラコン画像を選択したと判断した場合（Ｓ９１３：ＹＥＳ）、画像データ中の全ての顔領域を選択したか否かを判断する（ステップＳ９１４）。ＣＰＵ７０は、未選択の顔領域が存在すると判断した場合（Ｓ９１４：ＮＯ）、処理をステップＳ９０２へ戻す。ＣＰＵ７０はステップＳ９１４で全ての顔領域を選択したと判断した場合（Ｓ９１４：ＹＥＳ）、撮影回数分の全画像データを選択したか否かを判断し（ステップＳ９１５）、未選択の画像データが存在すると判断した場合（Ｓ９１５：ＮＯ）、処理をステップＳ９０１へ戻す。ＣＰＵ７０は、全画像データを選択したと判断した場合（Ｓ９１５：ＹＥＳ）、「カラコン」用の事前処理を終了する。
If the
図２０は、重畳用のカラコン画像を作成する過程を説明する説明図である。図２０中の左上に示される顔領域から、目の輪郭画像（目マスク画像）４０２と、目の中の虹彩領域の輪郭画像（虹彩マスク画像）４０３とが作成される。虹彩マスク画像に基づき、各虹彩領域の画素の行方向における最大の大きさ（ｄ１，ｄ３）及び列方向における最大の大きさ（ｄ２，ｄ４）が特定され、特定された大きさに基づいてカラコン画像の拡縮率が算出され、拡縮されたカラコン画像４０１と目マスク画像４０２とのＡＮＤ領域（ハッチング部分）が、重畳用のカラコン画像４０４として作成される。
FIG. 20 is an explanatory diagram for explaining a process of creating a superposed color contact image. An eye contour image (eye mask image) 402 and an iris region contour image (iris mask image) 403 in the eye are created from the face region shown at the upper left in FIG. Based on the iris mask image, the maximum size (d1, d3) in the row direction and the maximum size (d2, d4) in the column direction of the pixels of each iris region are specified, and the color control is determined based on the specified size. The enlargement / reduction ratio of the image is calculated, and an AND region (hatched portion) of the enlarged / reduced
次に落書き用操作画面でユーザが操作している間の「カラコン」についてのリアルタイム処理についてフローチャートで説明する。図２１は、「ＭＡＫＥ」の操作の受け付け中における「カラコン」に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４１０の詳細に対応する。なお、図２１のフローチャートに示す各処理は、図１６のフローチャートの「チーク」に係る処理手順における「チーク」を「カラコン」に置換したものであるので、対応するステップ番号を付して各ステップの詳細な説明は省略する。 Next, a real-time process for “color control” while the user is operating on the operation screen for graffiti will be described with reference to a flowchart. FIG. 21 is a flowchart illustrating an example of a processing procedure related to “color control” during reception of an operation of “MAKE”. The process described below corresponds to the details of step S410 in the flowchart of FIG. Each process shown in the flowchart of FIG. 21 is obtained by replacing “Teak” in the processing procedure related to “Cheek” in the flowchart of FIG. 16 with “Colorcon”, and accordingly, assigns a corresponding step number to each step. The detailed description of is omitted.
「カラコン」についても、図１３及び図１４で示した「リップ」の調整用画面を用いた操作、図１７に示した「チーク」の手動用の調整用画面を用いた操作と同様に、カラコン画像の濃淡及び大小の変更が行なわれる。なお「カラコン」に係る手動モード時の調整用画面には回転ボタンは含まれない。ユーザはカラコンの色又は濃淡を直感的に調整し、手動の場合においては大きさについても微調整が可能である。なおカラコン画像における濃淡又は透明度は、「カラコン」に係る処理中のステップＳ１０１３にてグラフィックボード７３を使用してリアルタイムに変更して表示するようにしてもよい。
Similarly to the operation using the “lip” adjustment screen shown in FIG. 13 and FIG. 14 and the operation using the “teak” manual adjustment screen shown in FIG. The image is shaded and changed in size. Note that the rotation screen is not included in the adjustment screen in the manual mode related to “color control”. The user intuitively adjusts the color or shade of the color control, and in the case of manual operation, the size can be finely adjusted. Note that the density or transparency in the color contact image may be changed and displayed in real time using the
消しゴム選択ボタン７４４についても「チーク」同様に、ＣＰＵ７０は、消しゴム選択ボタン７４４が選択された場合に、その後のタッチペン３１ａの軌跡を記憶し、カラコンの自動描画用のレイヤーにおける重畳用のカラコン画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）にすればよい。同様に手動モードにおける消しゴム選択ボタンが選択された場合も同様の処理を、手動描画用のレイヤーに対して行なう。
Similarly to the “cheek” for the
＜４．「アイライン」について＞
「アイライン」について画面例を参照して説明する。「アイライン」は上瞼又は下瞼の際を縁取るように線描したような画像処理を行なう機能である。「アイライン」の機能では上瞼又は下瞼の曲線を自動的に特定してアイラインを施す自動モードと、ユーザが手動操作によってアイライン画像を配置する手動モードとがあり、いずれか選択できる。なお、目の領域、上瞼又は下瞼の特定に成功している場合、初期的には自動モードが選択される。目の領域の特定に失敗している場合、手動モードのみで以下に示す処理が実行される。図２２は、「アイライン」が選択されている場合のメイクパレット３１０の内容例を示す説明図である。図２２には自動モードのときのキャンバス部１０７の内容例が示されている。「アイライン」が選択された場合の自動モードにおけるキャンバス部１０７には複数種類のアイラインに夫々対応したアイライン選択アイコン７５１、「アイライン」のメイク操作を手動で受け付ける手動ボタン７５２、「アイライン」メイクを消去するＯＦＦボタン７５３、及び一部を消去する消しゴム選択ボタン７５４が配置される。「アイライン」が選択されている場合の手動モードにおけるメイクパレット３１０の画面例については「チーク」における例（図６）と同様であるから説明を省略する。
<4. About "Eyeline">
“Eyeline” will be described with reference to a screen example. “Eyeline” is a function for performing image processing such as drawing an outline of the upper eyelid or the lower eyelid. The "eyeline" function has an automatic mode that automatically identifies the eyelid or lower eyelid curve and applies the eyeline, and a manual mode in which the user places the eyeline image manually. . If the eye area, upper eyelid or lower eyelid has been successfully identified, the automatic mode is initially selected. If identification of the eye area has failed, the following processing is executed only in the manual mode. FIG. 22 is an explanatory diagram showing an example of the contents of the
画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図２２のキャンバス部１０７のアイライン選択アイコン７５１の画像に対応する複数種類のアイライン画像を含む。アイライン画像は、ブラウン系、ブラック系、又はピンク等の鮮色系で夫々描画された複数種類の形状のアイラインの画像と、目の周辺に散りばめられる光輝を放つ装飾の画像とを含む。図２３は、予め記憶されているアイライン画像の内容例を示す説明図である。図２３には、上瞼の際の全体を縁取った形状、一部を縁取った形状、目尻のみを縁取った形状のアイライン画像が示されている。また図２３には、目尻上方又は目尻の下方に配置するラメ、ホログラム、ラインストーン、スタッズ、又はシール等の光輝を放つ装飾物の画像が示されている。図２３に示すアイライン画像中の破線で示される曲線は、顔認識技術によって認識される目の輪郭の内、目頭（ｓ）から目尻（ｅ）までを結ぶ上部の輪郭、及び下部の輪郭に対応すべき曲線であり、これらはメイク用情報７２０内のアイライン画像に含まれている。
The
ＣＰＵ７０は「アイライン」について以下の事前処理を実行しておく。なお以下の処理は目の領域及の特定に失敗している場合は実行されない。具体的にはＣＰＵ７０は、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、各器官領域に基づいて、各人物の顔の目領域付近に重畳させるアイライン画像の拡縮、傾きの変更等をしておく事前処理を行なう。図２４は、「アイライン」用の事前処理の手順の一例を示すフローチャートである。
The
ＣＰＵ７０は、複数の画像データから１つの画像データを選択し（ステップＳ１１０１）、選択中の画像データにて抽出されている１又は複数の人物被写体領域の内の顔領域の中から１つの顔領域を選択する（ステップＳ１１０２）。ＣＰＵ７０は選択した顔領域にて特定されている目の領域の輪郭を特定する（ステップＳ１１０３）。また、ＣＰＵ７０は、目の領域の輪郭に基づいて、目頭及び目尻の位置を特定し（ステップＳ１１０４）、目頭及び目尻間を結ぶ線分の画像の画素の配列方向に対する角度を特定する（ステップＳ１１０５）。ＣＰＵ７０は、目の上瞼領域のマスク画像を作成してもよい。
The
ＣＰＵ７０は、メイク用情報７２０中の複数種類のアイライン画像の内の１つを選択し（ステップＳ１１０６）、選択したアイライン画像の上部又は下部の輪郭の目頭（ｓ）又は目尻（ｅ）をステップＳ１１０４で特定した目頭又は目尻の位置に一致させて（ステップＳ１１０７）、選択したアイライン画像の上部又は下部の輪郭の目頭（ｓ）又は目尻（ｅ）を結ぶ線分の角度を、ステップＳ１１０５で特定した角度と一致させる（ステップＳ１１０８）。ＣＰＵ７０は、アイライン画像の上部又は下部の輪郭の目頭（ｓ）又は目尻（ｅ）を結ぶ線分と、ステップＳ１１０４で特定した目頭及び目尻間を結ぶ線分とが一致するように、選択したアイライン画像を拡縮する（ステップＳ１１０９）。ＣＰＵ７０は、拡縮後のアイライン画像を微小な間隔で角度を変えて前記線分を軸として図面上の手前又は奥へ向けて三次元的に回転させたものを画像上に射影させる編集を、グラフィックボード７３を利用して行ない（ステップＳ１１１０）。異なる角度で回転させた複数のアイライン画像の内、上部又は下部の曲線と、ステップＳ１１０３で特定した目の領域の輪郭との差分が最も少ないアイライン画像を選択し（ステップＳ１１１１）、選択した拡縮及び回転後のアイライン画像から、上部又は下部の輪郭に対応する曲線を消去し（ステップＳ１１１２）、消去後のアイライン画像を重畳用のアイライン画像として選択中の顔領域と対応付けてメモリ７１又はＨＤＤ７２に記憶する（ステップＳ１１１３）。右目及び左目の双方に対して上述の処理を行なう。また、ステップＳ１１０３にて特定されたいずれかの目領域が、ウィンクなどによって領域ではなく線分のみである場合、アイライン画像の上部の輪郭を、曲線側が目頭又は目尻よりも下方となるまで回転させて、差分が最も少ないアイライン画像を選択するとよい。
The
ＣＰＵ７０は、ステップＳ１１１３で記憶した拡縮及び回転後の重畳用のアイライン画像の色の濃淡又は透明度を予め記憶してある複数の段階で変更し、複数の段階の重畳用のアイライン画像を区別して記憶する（ステップＳ１１１４）。
The
次にＣＰＵ７０は、全てのアイライン画像を選択したか否かを判断する（ステップＳ１１１５）。未選択のアイライン画像が存在すると判断された場合（Ｓ１１１５：ＮＯ）、ＣＰＵ７０は処理をステップＳ１１０６へ戻す。
Next, the
ＣＰＵ７０は、全てのアイライン画像を選択したと判断した場合（Ｓ１１１５：ＹＥＳ）、画像データ中の全ての顔領域を選択したか否かを判断する（ステップＳ１１１６）。ＣＰＵ７０は、未選択の顔領域が存在すると判断した場合（Ｓ１１１６：ＮＯ）、処理をステップＳ１１０２へ戻す。ＣＰＵ７０はステップＳ１１１６で全ての顔領域を選択したと判断した場合（Ｓ１１１６：ＹＥＳ）、撮影回数分の全画像データを選択したか否かを判断し（ステップＳ１１１７）、未選択の画像データが存在すると判断した場合（Ｓ１１１７：ＮＯ）、処理をステップＳ１１０１へ戻す。ＣＰＵ７０は、全画像データを選択したと判断した場合（Ｓ１１１７：ＹＥＳ）、「アイライン」用の事前処理を終了する。
When determining that all eyeline images have been selected (S1115: YES), the
図２５は、重畳用のアイライン画像を作成する過程を説明する説明図である。図２５中（Ａ）は、太線で示されている特定された目の領域の輪郭に基づき、特定された輪郭中の目頭（Ｓ）及び目尻（Ｅ）を結ぶ線分の角度に、アイライン画像の上部の輪郭の目頭（ｓ）及び目尻（ｅ）を結ぶ線分の角度を一致させた際のアイライン画像（Ｓ１１０７、Ｓ１１０８）を示している。図２５中（Ｂ）は、特定された目の輪郭中の目頭（Ｓ）及び目尻（Ｅ）を結ぶ線分の長さと、アイライン画像の上部の輪郭の目頭（ｓ）及び目尻（ｅ）を結ぶ線分の長さとを一致させるように、アイライン画像を拡大させた際のアイライン画像（Ｓ１１０９）を示している。図２５中（Ｃ）は、（Ｂ）の拡大後に、微小な間隔で角度を変えて前記線分を軸として回転させた（Ｓ１１１０）アイライン画像を示している。（Ｃ）に示されているアイライン画像の内、中央の矩形で囲まれたアイライン画像が、上部又は下部の輪郭に対応する曲線と、特定された目の領域の輪郭との差分が最も少ないとして選択されている。図２５中（Ｄ）は、選択された拡大回転後のアイライン画像から、上部又は下部の輪郭に対応する曲線を消去して得られるアイライン画像を示している（Ｓ１１１２）。なお、図２５中（Ｄ）では、重畳される目の領域の輪郭を一点鎖線にて示している。 FIG. 25 is an explanatory diagram illustrating a process of creating an eyeline image for superimposition. (A) in FIG. 25 is based on the outline of the identified eye region indicated by the bold line, and the eyeline is at the angle of the line segment connecting the eye (S) and the corner of the eye (E) in the identified outline. The eyeline images (S1107, S1108) when the angles of the line segments connecting the top (s) and the corners (e) of the upper contour of the image are matched are shown. In FIG. 25, (B) shows the length of a line segment connecting the top of the eye (S) and the corner of the eye (E) in the outline of the specified eye, and the top of the eyeline image (s) and the corner of the eye (e). The eyeline image (S1109) when the eyeline image is enlarged so as to match the length of the line segment connecting the two is shown. (C) in FIG. 25 shows an eyeline image that is rotated about the line segment by changing the angle at a minute interval after the enlargement of (B) (S1110). Among the eyeline images shown in (C), the eyeline image surrounded by the center rectangle has the largest difference between the curve corresponding to the upper or lower contour and the contour of the specified eye region. Selected as less. FIG. 25D shows an eyeline image obtained by erasing a curve corresponding to the upper or lower contour from the selected eyeline image after enlargement rotation (S1112). In FIG. 25D, the outline of the eye region to be superimposed is indicated by a one-dot chain line.
このように本実施の形態では、目の領域の位置、大きさ、目尻若しくは目頭の位置に基づいて、アイライン画像の重畳位置、大きさ、角度が自動的に決定される。また、アイライン画像は装飾物の画像も含み、これらの装飾物の画像についても目の領域の位置、大きさ、目尻若しくは目頭の位置に基づいて、目尻から横へかけての領域の下方若しくは上方、又は目の下全体等、装飾の画像の重畳位置、大きさ、角度が決定される。 As described above, in the present embodiment, the superimposed position, size, and angle of the eyeline image are automatically determined based on the position and size of the eye region and the position of the corner of the eye or the eye. The eyeline image also includes an image of a decorative object, and the image of these decorative objects is also below or below the area extending from the corner of the eye to the side based on the position and size of the eye area and the position of the corner of the eye or the eye. The overlapping position, size, and angle of the decorative image such as the upper part or the entire lower part of the eye are determined.
次に、落書き用操作画面でユーザが操作している間の「アイライン」についてのリアルタイム処理についてフローチャートで説明する。図２６は、「ＭＡＫＥ」の操作の受け付け中における「アイライン」処理に係る処理手順の一例を示すフローチャートである。図２６のフローチャートに示す処理は、図８のフローチャートのステップＳ４１２の詳細に対応する。なお、図２６のフローチャートに示す各処理は、図１６のフローチャートの「チーク」に係る処理手順における「チーク」を「アイライン」に置換したものと同様であるので、対応するステップ番号を付して各ステップの詳細な説明は省略する。 Next, real-time processing for “eyeline” while the user is operating on the operation screen for graffiti will be described with reference to a flowchart. FIG. 26 is a flowchart illustrating an example of a processing procedure related to the “eyeline” process during the reception of the “MAKE” operation. The process shown in the flowchart of FIG. 26 corresponds to the details of step S412 of the flowchart of FIG. Each process shown in the flowchart of FIG. 26 is the same as the process procedure in which “Teak” in the process procedure related to “Cheek” in the flowchart of FIG. 16 is replaced with “Eyeline”. Detailed description of each step will be omitted.
なおアイライン画像を自動的に重畳させた場合の調整用画面によって濃淡又は色味を複数段階で変更することが可能であるが、アイラインに係る処理においては、濃淡又は色味の変更を受け付けない構成としてもよい。この場合、図２４のフローチャートに示した事前処理の内、ステップＳ１１１４については省略してもよい。また、アイライン画像の手動操作を受け付ける場合の調整用画面には、回転角度を調整するための回転ボタン、左右に反転させるための反転ボタン、湾曲具合の強弱を変更して瞼に沿わすためのボタン、重畳させたアイライン画像の大小を調整するスライダーコントロール、及びＯＫボタンが含まれている。 The shade or color can be changed in multiple stages using the adjustment screen when the eyeline image is automatically superimposed. However, in the processing related to the eyeline, changes in shade or color are accepted. There may be no configuration. In this case, step S1114 may be omitted from the pre-processing shown in the flowchart of FIG. In addition, the adjustment screen for accepting manual operation of the eyeline image has a rotation button for adjusting the rotation angle, a reverse button for flipping left and right, and changing the strength of the curve so that it follows the heel. Button, a slider control for adjusting the size of the superimposed eyeline image, and an OK button.
また、アイラインについても手動操作に基づいて重畳されるアイライン画像と、自動的に重畳されるアイライン画像とが別のレイヤー上に描画されて別個に記憶されるため、重ね付けが可能である。なお、手動ボタン７５２が選択された場合に、自動描画用のレイヤーにおけるアイライン画像を非表示とし、手動操作にて受け付けたアイライン画像のみを表示し、逆に、自動ボタンが選択された場合に、手動描画用のレイヤーにおけるアイライン画像を非表示とするようにしていずれか一方に切り替えるようにしてもよい。
In addition, eyeline images that are superimposed based on manual operation and eyeline images that are automatically superimposed are drawn on different layers and stored separately, so that the eyeline can be overlaid. is there. When the
消しゴム選択ボタン７５４についても「リップ」同様に、ＣＰＵ７０は、消しゴム選択ボタン７５４が選択された後のタッチペン３１ａの軌跡を記憶し、アイラインの自動描画用のレイヤーにおける重畳用のアイライン画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）とする。同様に、手動モードにおける消しゴム選択ボタンが選択された場合は同様の処理を、手動描画用のレイヤーに対して行なえばよい。
Similarly to “lip” for the
このようにアイラインのメイクについて、濃淡又は色味を複数段階で変更して作成されているアイライン画像の差し替えにより、スライダーコントロールのつまみの位置に応じて濃淡又は色味が連続的に変化する。ユーザはメイク対象の顔領域が表示されているプレビュー表示部３０１（３０２）内でプレビュー画像を確認しながら、好みの濃淡又は色味のアイラインを選択することができる。 In this way, for eyeline makeup, the shade or color changes continuously according to the position of the slider control knob by replacing the eyeline image created by changing the shade or color in multiple stages. . The user can select a favorite shade or color eyeline while confirming the preview image in the preview display section 301 (302) in which the face area to be made is displayed.
＜５．「つけまつげ」について＞
「つけまつげ」について画面例を参照して説明する。「つけまつげ」は目につけまつげを装着させたような画像処理を行なう機能である。「つけまつげ」の機能では「アイライン」同様、上瞼又は下瞼の曲線を自動的に特定してつけまつげを施す自動モードと、ユーザが手動操作によってつけまつげ画像を配置する手動モードとがあり、いずれか選択できる。なお、目の領域、上瞼又は下瞼の特定に成功している場合、初期的には自動モードが選択される。目の領域の特定に失敗している場合、手動モードのみで以下に示す処理が実行される。図２７は、「つけまつげ」が選択されている場合のメイクパレット３１０の内容例を示す説明図である。図２７には、自動モードのときのキャンバス部１０７の内容例が示されている。「つけまつげ」が選択されている場合、自動モードにおけるキャンバス部１０７には複数種類のつけまつげに夫々対応したつけまつげ選択アイコン７６１、「つけまつげ」のメイク操作を手動で受け付ける手動ボタン７６２、「つけまつげ」メイクを消去するＯＦＦボタン７６３、及び一部を消去する消しゴム選択ボタン７６４が配置される。「つけまつげ」が選択されている場合の手動モードにおけるメイクパレット３１０の画面例については「チーク」における例（図６）と同様であるから説明を省略する。
<5. About "Fake Eyelashes">
The “false eyelashes” will be described with reference to a screen example. “Fake eyelashes” is a function for performing image processing as if false eyelashes were attached to the eyes. As with the “eyeline” function, the “false eyelashes” function has an automatic mode that automatically identifies the upper eyelid or lower eyelid curve and applies false eyelashes, and a manual mode in which the user manually places false eyelash images. You can choose. If the eye area, upper eyelid or lower eyelid has been successfully identified, the automatic mode is initially selected. If identification of the eye area has failed, the following processing is executed only in the manual mode. FIG. 27 is an explanatory diagram showing an example of the contents of the
画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図２７のキャンバス部１０７のつけまつげ選択アイコン７６１の画像に対応する複数種類のつけまつげ画像を含む。つけまつげ画像は、ブラウン系、ブラック系で描画された複数種類の形状のつけまつげ画像を含む。図２８は、予め記憶されているつけまつげ画像の内容例を示す説明図である。図２８には、毛束感、毛の長さ若しくは密度、毛の流れ方、又は毛の色が各々異なる複数のつけまつげ画像、上下両方用のつけまつげ画像が示されている。図２５に示すつけまつげ画像は、アイライン画像同様に、破線で示される曲線によって顔認識技術によって認識される目の輪郭の内、目頭（ｓ）から目尻（ｅ）までを上部の輪郭、及び下部の輪郭に対応すべき曲線（破線）を含む。
The
なおＣＰＵ７０は、図２８に示した複数種類のつけまつげ画像に対し、複数段階のつけまつげ画像を作成する事前処理を実行しておき、事前処理の結果をＨＤＤ７２に記憶しておく。なお以下の処理は目の領域及の特定に失敗している場合は実行されない。図２９は、複数段階のつけまつげ画像を作成する処理手順の一例を示すフローチャートである。
The
ＣＰＵ７０は、複数種類のつけまつげ画像から１つを選択する（ステップＳ２００１）。ＣＰＵ７０は、選択したつけまつげ画像に対しグラフィックボード７３を利用して距離変換を実行し、距離変換マスク画像を取得する（ステップＳ２００２）。
The
ステップＳ２００２の距離変換処理により、つけまつげ画像の画像内の各画素における背景画像からの距離、即ち輪郭からの距離が求められる。具体的にはグラフィックボード７３により、モノクロームのつけまつげ画像は距離変換マスク画像に変換されて出力される。距離変換マスク画像は、輪郭からの距離が短い画素ほどα値（透明度）が最小値（０）に近く、輪郭からの距離が遠い画素ほどα値が最大値（２５５）に近くなる。図３０は、距離変換マスク画像の内容例を模式的に示す説明図である。図３０に示す内容例では、つけまつげ画像の距離変換マスク画像の一部を拡大して示している。距離変換マスク画像は、図３０中の太線で示される輪郭からの距離が等しい画素が同様のα値で描画されるため、図３０に示す如く、輪郭からの距離が等しい画素群の境界線が等高線のように区別できている。後述の処理では、つけまつげ画像を外側から図３０に示す境界線に沿うように順に削り取るようにしてつけまつげのボリュームを複数段階に変化させたつけまつげ画像がＨＤＤ７２に記憶される。
By the distance conversion process in step S2002, the distance from the background image at each pixel in the false eyelash image, that is, the distance from the contour is obtained. Specifically, the monochrome false eyelash image is converted into a distance conversion mask image by the
図２９のフローチャートに戻り説明を続ける。
ＣＰＵ７０は、所定のつけまつげのボリューム変更の段階数を記憶してあるＨＤＤ７２から読み出し（ステップＳ２００３）、後続の演算用変数である比率Ｒの初期値と、段階数に応じた比率Ｒの減算値とを決定する（ステップＳ２００４）。つけまつげの距離変換マスク画像内の１つの画素について、画素値（α値）と比率Ｒとの乗算値に基づき、透明率を算出する（ステップＳ２００５）。ステップＳ２００５にてＣＰＵ７０は、画素値と比率Ｒとを乗算して得られた値を画素値の最大値（２５５）に対する比率（０．０〜１．０）に変換する。ＣＰＵ７０は、算出した透明率で画素を描画し（ステップＳ２００６）、選択中のつけまつげ画像の全画素についてステップＳ２００５及びＳ２００６の処理を実行したか否かを判断し（ステップＳ２００７）、全画素について処理を実行していないと判断した場合（Ｓ２００７：ＮＯ）、処理をステップＳ２００５へ戻して処理を実行する。
Returning to the flowchart of FIG. 29, the description will be continued.
The
ステップＳ２００７にて全画素について処理を実行したと判断した場合（Ｓ２００７：ＹＥＳ）、描画された各画素からなる重畳用のつけまつげ画像を、現段階を識別する情報と共にＨＤＤ７２に記憶する（ステップＳ２００８）。
If it is determined in step S2007 that the process has been executed for all pixels (S2007: YES), the false eyelash image for superimposition composed of each drawn pixel is stored in the
次にＣＰＵ７０は、比率Ｒが最小値であるか否か判断し（ステップＳ２００９）、最小値でないと判断した場合（Ｓ２００９：ＮＯ）、減算値分だけ減少させ（ステップＳ２０１０）、処理をステップＳ２００５へ戻す。ステップＳ２００９にて最小値であると判断された場合（Ｓ２００９：ＹＥＳ）、ＣＰＵ７０は全種類のつけまつげ画像について処理を実行したか否か判断し（ステップＳ２０１１）、全種類について処理を実行していないと判断された場合（Ｓ２０１１：ＮＯ）、ＣＰＵ７０は処理をステップＳ２００１へ戻してＨＤＤ７２のメイク用情報７２０から他のつけまつげ画像についての処理を実行する。
Next, the
ステップＳ２０１１にて全種類のつけまつげ画像について処理を実行したと判断した場合（Ｓ２０１１：ＹＥＳ）、複数段階のつけまつげ画像を作成する事前処理を終了する。 If it is determined in step S2011 that the processing has been executed for all types of false eyelash images (S2011: YES), the pre-processing for creating a plurality of stages of false eyelash images is terminated.
ステップＳ２００５及びＳ２００６の処理は、例えば比率Ｒが初期値の場合は、α値がｎまでの部分は削られて非表示になり、初期値から複数段階減算されて比率Ｒ＜初期値となった場合はα値がｍ（ｍ＞ｎ）までの部分が削られて非表示になる。つまり比率Ｒが小さくなるほど、輪郭からの距離が遠い部分まで削られる。例えば、０〜２５５までのα値に対し、比率Ｒが６．０〜１．０まで変化する場合、比率Ｒが初期値６．０の場合にはα値が０〜４２の外側部分が削られる（「４２」は、比率Ｒ（＝６．０）を乗算した場合に２５５を超えない最大数）。比率Ｒが２．０の場合にはα値が０〜１２７（比率Ｒ（＝２．０）を乗算した場合に２５５を超えない最大数）の外側部分が削られ、比率Ｒ＝６．０の場合よりも処理後のつけまつげ画像のボリュームは少なくなる。削られ方は、外側部分をグラデーションで透明にするので、処理後も自然なつけまつげ画像となる。このようにつけまつげの画像に予め距離変換処理を実行し、距離別に外縁部を消去したつけまつげの画像を記憶しておくことにより、ボリューム感が複数段階に異なる自然なつけまつげの画像を作成することが可能となる。 In the processing of steps S2005 and S2006, for example, when the ratio R is the initial value, the portion up to the α value n is deleted and hidden, and the ratio R <initial value is obtained by subtracting a plurality of steps from the initial value. In this case, the part up to the α value of m (m> n) is cut and hidden. In other words, the smaller the ratio R is, the more the distance from the contour is cut. For example, when the ratio R changes from 6.0 to 1.0 with respect to the α value from 0 to 255, when the ratio R is the initial value 6.0, the outer portion of the α value from 0 to 42 is reduced. (“42” is the maximum number that does not exceed 255 when multiplied by the ratio R (= 6.0)). When the ratio R is 2.0, the outer portion of the α value of 0 to 127 (the maximum number not exceeding 255 when multiplied by the ratio R (= 2.0)) is trimmed, and the ratio R = 6.0. The volume of the false eyelash image after processing is smaller than in the case of. Since the outer part is made transparent with gradation, the natural false eyelash image is obtained even after processing. By performing distance conversion processing on the false eyelash image in advance and storing the false eyelash image in which the outer edge portion is erased for each distance, it is possible to create a natural false eyelash image with different volume feelings in multiple stages. It becomes possible.
更にＣＰＵ７０は、アイライン同様に、図４のフローチャートに示したステップＳ２０４にて特定された１又は複数の人物の顔領域、各器官領域特に目の領域に基づいて、各人物の顔の目領域付近に重畳させるつけまつげ画像の拡縮、傾きの変更等をしておく事前処理を行なう。図３１は、「つけまつげ」用の事前処理の手順の一例を示すフローチャートである。図３１のフローチャートに示す処理手順は大部分が、図２４のフローチャートに示した「アイライン」に係る事前処理の手順における「アイライン」を「つけまつげ」に置換したものである。ステップＳ１３１４において、決定した位置、角度、大きさに基づいて描画した重畳用のつけまつげ画像を、複数の段階で変更するに際し、「つけまつげ」に係る処理では、図２９のフローチャートに示した処理によって作成した複数段階のつけまつげ画像で描画することで変更する。他の処理手順は、図２４のフローチャートにおける各ステップの「アイライン」を「つけまつげ」に置換したものであるから、対応するステップ番号を付して各ステップの詳細な説明は省略する。このように本実施の形態では目の領域の位置、大きさ、目尻若しくは目頭の位置に基づいて、つけまつげの重畳位置、大きさ、角度が決定される。
Further, the
次に、落書き用操作画面でユーザが操作している間の「つけまつげ」についてのリアルタイム処理についてフローチャートで説明する。図３２は、「ＭＡＫＥ」の操作の受け付け中における「つけまつげ」処理に係る処理手順の一例を示すフローチャートである。図３２のフローチャートに示す処理は、図８のフローチャートのステップＳ４１４の詳細に対応する。なお、図３２のフローチャートに示す各処理は、図１６のフローチャートの「チーク」に係る処理手順における「チーク」を「つけまつげ」に置換したものと同様であるので、対応するステップ番号を付して各ステップの詳細な説明は省略する。 Next, real-time processing regarding “false eyelashes” while the user is operating on the operation screen for graffiti will be described with reference to a flowchart. FIG. 32 is a flowchart illustrating an example of a processing procedure related to the “false eyelashes” process during the reception of the “MAKE” operation. The process shown in the flowchart of FIG. 32 corresponds to the details of step S414 in the flowchart of FIG. Each process shown in the flowchart of FIG. 32 is the same as the process procedure of “teak” in the flowchart of FIG. 16 replaced with “false eyelashes”, and accordingly, a corresponding step number is assigned. Detailed description of each step is omitted.
つけまつげ画像を自動的に重畳させた場合の調整用画面によってボリュームを複数段階で変更することが可能である。また、つけまつげ画像の手動モードの場合の調整用画面には、回転角度を調整するための回転ボタン、左右に反転させるための反転ボタン、湾曲具合の強弱を変更して瞼に沿わすためのボタン、重畳させたアイライン画像の大小を調整するスライダーコントロール、更にボリューム感を変更するスライダーコントロール及びＯＫボタンが含まれている。 It is possible to change the volume in a plurality of stages by the adjustment screen when the false eyelash image is automatically superimposed. In addition, the adjustment screen for the false eyelash image manual mode includes a rotation button for adjusting the rotation angle, a reverse button for flipping left and right, and a button for changing the strength of the curve and keeping it along the eyelids. In addition, a slider control for adjusting the size of the superimposed eyeline image, a slider control for changing the volume feeling, and an OK button are included.
つけまつげについても手動モードの場合に重畳されるつけまつげ画像と、自動モードで重畳されるつけまつげ画像とが別のレイヤー上に描画されて別個に記憶されるため、重ね付けが可能である。なお、手動ボタン７６２が選択された場合に、自動描画用のレイヤーにおけるつけまつげ画像を非表示とし、手動操作にて受け付けたつけまつげ画像のみを表示し、逆に、自動ボタンが選択された場合に、手動描画用のレイヤーにおけるつけまつげ画像を非表示とするようにしていずれか一方に切り替えるようにしてもよい。 As for false eyelashes, the false eyelash image to be superimposed in the manual mode and the false eyelash image to be superimposed in the automatic mode are drawn on different layers and stored separately. When the manual button 762 is selected, the false eyelash image in the layer for automatic drawing is hidden, only the false eyelash image accepted by manual operation is displayed, and conversely, when the automatic button is selected, The false eyelash image in the manual drawing layer may be hidden and switched to either one.
消しゴム選択ボタン７６４についても「リップ」同様に、ＣＰＵ７０は、消しゴム選択ボタン７６４が選択された後のタッチペン３１ａの軌跡を記憶し、つけまつげの自動描画用のレイヤーにおける重畳用のつけまつげ画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）とする。同様に、手動モードにおける消しゴム選択ボタンが選択された場合は同様の処理を、手動描画用のレイヤーに対して行なえばよい。
Similarly to “lip”, the
このように、「つけまつげ」についてもメイク対象の顔領域に自動的に配置されて重畳表示されると共に調整用画面３０６が表示され、図２９のフローチャートで示したようにボリューム感を複数段階で変更して作成されてあるつけまつげ画像の差し替えにより、スライダーコントロールのつまみの位置に応じてつけまつげのボリュームが連続的に変化する。ユーザはメイク対象の顔領域が表示されているプレビュー表示部３０１（３０２）内でプレビュー画像を確認しながら、好みのボリュームのつけまつげを選択することができる。
As described above, “false eyelashes” are also automatically arranged and superimposed on the face area to be made and the
＜６．「ヘアカラー」について＞
「ヘアカラー」について画面例を参照して説明する。「ヘアカラー」は髪色を変更させたような画像を得る画像処理を行なう機能である。「ヘアカラー」の機能ではユーザの手動操作によって髪色を変化させる処理を行なう手動モードのみが存在する。図３３は、「ヘアカラー」が選択されている場合のメイクパレット３１０の表示例を示す説明図である。図３３には、手動モードにおけるキャンバス部１０７の内容例が示されている。「ヘアカラー」が選択されている場合のキャンバス部１０７には複数種類のヘアカラーに対応したヘアカラー選択アイコン７７１と、「ヘアカラー」のメイクを消去するＯＦＦボタン７７３、一部を消去する消しゴム選択ボタン７７４が配置される。
<6. About “Hair Color”>
The “hair color” will be described with reference to a screen example. “Hair color” is a function of performing image processing to obtain an image in which the hair color is changed. In the “hair color” function, there is only a manual mode for performing a process of changing the hair color by a user's manual operation. FIG. 33 is an explanatory diagram showing a display example of the
画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０は、図３３のキャンバス部１０７に示されている画像に対応するヘアカラー用の色、テクスチャ及びグラデーションパターンを識別するヘアカラーパターン情報を複数種類含む。複数種類のヘアカラーパターン情報は例えば、ブラック、ブラウン、ブロンド、ピンク、オレンジ、ブルー、パープルなどの髪色の情報、頭頂部と毛先部とで色味又は濃淡を変化させるグラデーションパターンの情報が含まれる。グラデーションパターンの情報は例えば、混合される複数の色の情報と、色を変化させる位置、各色の透明度等の情報を含む。
The
本実施の形態では、「ヘアカラー」については１〜５の他の種類のメイクのような自動モードは実現しない。図３４は、「ＭＡＫＥ」の操作の受け付け中における「ヘアカラー」処理に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４１６の詳細に対応する。 In the present embodiment, the “hair color” does not realize an automatic mode like other types of makeup 1-5. FIG. 34 is a flowchart illustrating an example of a processing procedure related to the “hair color” process during the reception of the “MAKE” operation. The process described below corresponds to the details of step S416 in the flowchart of FIG.
ＣＰＵ７０は、ヘアカラー選択アイコン７７１が選択されたか否かを判断する（ステップＳ１６０１）。ＣＰＵ７０は、ヘアカラー選択アイコン７７１が選択されたと判断した場合（Ｓ１６０１：ＹＥＳ）、選択されたヘアカラー選択アイコン７７１に対応するヘアカラーパターン情報を識別する（ステップＳ１６０２）。
ＣＰＵ７０は、ステップＳ１６０２で識別したヘアカラーパターン情報に基づき、描画ブラシの線種、色及び太さを決定し（ステップＳ１６０３）、タッチペン３１ａのプレビュー表示部３０１への接触を検知し（ステップＳ１６０４）、決定した線種、色及び太さの描画ブラシで接触箇所を描画する（ステップＳ１６０５）。なおステップＳ１６０５における描画は、接触箇所に対応する画素のぼかし又は輝度を上昇させるなどのフィルター処理に代替又はフィルター処理と組み合わされてもよく、ヘアカラー用の手動描画用のレイヤーにて描画される。このときステップＳ１６０２にてグラデーションパターンが識別されている場合、ＣＰＵ７０は、トリミング範囲内における接触箇所の位置（中央、上部、又は下部等）に応じて、グラデーションパターンに含まれる色又は透明度で描画する。
The
ＣＰＵ７０は、ステップＳ１６０５で描画されて表示中のヘアカラー画像を確定させ、表示中の画像に対応する画像データに対応付けて記憶し（ステップＳ１６０６）、他のボタン又はタブ等が選択されたか否かを判断し（ステップＳ１６０７）、選択されていないと判断した場合（Ｓ１６０７：ＮＯ）、処理をステップＳ１６０４へ戻し、他のボタン又はタブ等が選択されるまで描画を続行する。
The
ステップＳ１６０７にて他のボタン又はタブ等が選択されたと判断した場合（Ｓ１６０７：ＹＥＳ）、ＯＦＦボタン７７３が選択されたか否かを判断する（ステップＳ１６０８）。ＣＰＵ７０は、ＯＦＦボタン７７３が選択されたと判断した場合（Ｓ１６０８：ＹＥＳ）、描画されて表示中のヘアカラー画像を非表示として確定を解除し（ステップＳ１６０９）、「ヘアカラー」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
If it is determined in step S1607 that another button or tab has been selected (S1607: YES), it is determined whether or not the
ＣＰＵ７０は、ステップＳ１６０１にてヘアカラー選択アイコン７７１が選択されていないと判断した場合（Ｓ１６０１：ＮＯ）、処理をステップＳ１６０８へ進める。
If
ＣＰＵ７０は、ＯＦＦボタン７７３が選択されていないと判断した場合（Ｓ１６０８：ＮＯ）、そのまま「ヘアカラー」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
If the
なお消しゴム選択ボタン７７４については、ＣＰＵ７０は、消しゴム選択ボタン７７４が選択された後のタッチペン３１ａの軌跡を記憶し、ヘアカラー用の手動描画用のレイヤーにおけるヘアカラー画像の一部を、選択されている太さにて軌跡に沿って非表示（透明）とする。
As for the
図３５は、「ヘアカラー」のグラデーションパターンでの描画例を模式的に示す説明図である。図３５では、ヘアカラー選択アイコン７７１でグラデーションパターンが選択されて描画中にプレビュー表示部３０１に表示される画像の例を示している。図３５では、頭頂部と毛先部との間で連続的に色が変化するようなパターンでヘアカラー画像が描画されている。これにより、毛先（又は根元）が明るめとなるようにカラーリングしたようなヘアカラー画像が表示される。
FIG. 35 is an explanatory diagram schematically illustrating a drawing example with a gradation pattern of “hair color”. FIG. 35 shows an example of an image displayed on the
なお「ヘアカラー」についても１又は複数の顔領域に基づき、ＣＰＵ７０が各顔領域に対応する髪範囲を精度よく特定できる場合は、自動モードを選択可能としてもよい。自動モードではＣＰＵ７０は、ヘアカラー選択アイコン７７１に対応するヘアカラーパターンにて重畳用のヘアカラー画像の位置、大きさ、角度等を事前に決定しておき、選択されたヘアカラー選択アイコン７７１に対応する重畳用のヘアカラー画像を重畳させる。また、髪範囲を特定することが困難な場合、ユーザの手動操作により、図３５中の太線枠のように、矩形等で髪範囲の指定を受け付け、指定された髪範囲における中央、上部、又は下部等でグラデーションを変化させ、毛先と根元とでグラデーションとなるような髪色に変化させる処理を施してもよい。
As for “hair color”, the automatic mode may be selectable when the
＜７．「ワンタッチ」について＞
「ワンタッチ」について画面例を参照して説明する。「ワンタッチ」の機能では顔領域、並びに唇、頬、目、及び虹彩等の各器官の領域を自動的に特定して化粧を施す自動モードのみが存在する。顔領域及び各器官の領域の特定に失敗した場合は、「ワンタッチ」機能は無効としてもよい。図３６は、「ワンタッチ」が選択されている場合のメイクパレット３１０の表示例を示す説明図である。図３３には、メイク選択部１０２で「ワンタッチ」が選択された場合に表示されているキャンバス部１０７の内容例が示されている。「ワンタッチ」が選択されている場合、キャンバス部１０７には複数のテーマに夫々対応したテーマ選択アイコン７１１及びメイクを消去するＯＦＦボタン７１３が配置される。
<7. About "One Touch">
“One-touch” will be described with reference to a screen example. In the “one-touch” function, there is only an automatic mode in which makeup is performed by automatically identifying facial regions and regions of organs such as lips, cheeks, eyes, and irises. If the identification of the face area and each organ area fails, the “one touch” function may be disabled. FIG. 36 is an explanatory diagram showing a display example of the
「ワンタッチ」は、１．〜５．で説明した「ヘアカラー」以外の５つのメイクを全て自動で施した画像が得られる機能である。画像処理部７のＨＤＤ７２に記憶されているメイク用情報７２０の内の、リップパターン情報、チーク用画像、カラコン画像、アイライン画像、及びつけまつげ画像から１つずつが、テーマ選択アイコン７１１に対応する複数のテーマ毎に予め対応付けてメモリ７１又はＨＤＤ７２に記憶されている。メイク選択部１０２で「ワンタッチ」が選択されている場合ＣＰＵ７０は、選択されたテーマに対応するメイク用情報７２０を用いて自動的に、メイク対象の顔領域に合わせて位置を決定し、変形して顔領域に重畳させて表示する。ＣＰＵ７０は、１．〜５．で説明した「ヘアカラー」以外の５つのメイクについての事前処理を行なっておく。そして、各テーマに応じて、複数段階で処理されている画像から所定の段階の画像が識別して記憶してあるとよい。例えば、図３６に示すようにテーマが「ＣＵＴＥ」、「ＮＡＴＵＲＡＬ」及び「ＣＯＯＬ」である場合、「ＣＵＴＥ」のテーマにはピンク色の光沢感が強い段階で処理された唇画像、ピンク色の円形のチーク用画像、薄い色の重畳用のカラコン画像、ブラウン系のアイライン画像、毛束が全体的に増量されているつけまつげ画像の内の中央段階の重畳用のつけまつげ画像等が対応付けられる。
“One Touch” ~ 5. This is a function for obtaining an image in which all five makeups other than the “hair color” described in the above are automatically applied. Of the
落書き用操作画面でユーザが操作している間の「ワンタッチ」についてのリアルタイム処理について説明する。図３７は、「ＭＡＫＥ」の操作の受け付け中における「ワンタッチ」に係る処理手順の一例を示すフローチャートである。以下に説明する処理は、図８のフローチャートのステップＳ４０３の詳細に対応する。 A real-time process for “one touch” while the user is operating on the operation screen for graffiti will be described. FIG. 37 is a flowchart illustrating an example of a processing procedure related to “one touch” during reception of an operation of “MAKE”. The process described below corresponds to the details of step S403 in the flowchart of FIG.
ＣＰＵ７０は、テーマ選択アイコン７１１が選択されたか否かを判断する（ステップＳ１７０１）。ＣＰＵ７０は、テーマ選択アイコン７１１が選択されたと判断した場合（Ｓ１７０１：ＹＥＳ）、選択されたテーマ選択アイコン７１１に対応するテーマに対応するメイク用情報７２０に基づいて事前処理された重畳用の画像を抽出し（ステップＳ１７０２）、各画像を重畳させて表示し（ステップＳ１７０３）、表示中である各重畳用のメイク用の画像を確定させて記憶し（ステップＳ１７０４）、「ワンタッチ」処理に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
The
ＣＰＵ７０は、テーマ選択アイコン７１１が選択されていないと判断した場合（Ｓ１７０１：ＮＯ）、ＯＦＦボタン７１３が選択されたか否かを判断する（ステップＳ１７０５）。ＣＰＵ７０はＯＦＦボタン７１３が選択されたと判断した場合（Ｓ１７０５：ＹＥＳ）、表示している各重畳用の画像を非表示として確定を解除し（ステップＳ１７０６）、「ワンタッチ」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
When determining that the
ＣＰＵ７０は、ＯＦＦボタン７１３が選択されていないと判断した場合（Ｓ１７０５：ＮＯ）、そのまま「ワンタッチ」に係る処理を終了し、図８のフローチャート中のステップＳ４０４へ処理を戻す。
If the
このような処理により、「ワンタッチ」機能ではユーザはテーマを選択するだけで自身の顔領域上にメイク用情報７２０に基づくメイクの素材画像が変形されて適切な位置に重畳表示された画像を得ることができる。メイクに不慣れなユーザであっても容易にメイク操作を行なうことができる。なお「ワンタッチ」機能で変形されて配置された各種類のメイクの素材画像は、メイク選択部１０２で「チーク」、「カラコン」、「アイライン」又は「つけまつげ」を選択する操作がされた場合に以後、個別に別の画像に変更することができるようにしてもよい。
With such a process, in the “one touch” function, the user simply selects a theme and the makeup material image based on the
上述した処理手順により、顔の中で特定される顔領域に含まれる各器官の領域の位置等を基準として化粧用素材の画像の位置、大きさ、又は角度を決定し、更に変形を行なうことにより、アイライン画像、つけまつげ画像のような予め記憶してある化粧用の素材の画像を重畳させてもスタンプ画像のように明らかに重畳されていることがわかるような画像ではなく、ユーザ自身が自然に写っていて、プロによってメイクを施されたファッションモデル又はアーティストを撮影したような画像の出力を実現できる。 The position, size, or angle of the image of the cosmetic material is determined based on the position of each organ area included in the face area specified in the face by the processing procedure described above, and further deformed. Thus, even if an image of a pre-stored makeup material such as an eyeline image or false eyelash image is superimposed, it is not an image that clearly shows that the image is superimposed, such as a stamp image. It is possible to output an image that looks like a photograph taken of a fashion model or artist that is reflected in nature and is made by a professional.
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be understood that the embodiment disclosed above is illustrative in all respects and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
以上の実施の形態に関し更に、以下の付記を開示する。 Further, the following supplementary notes are disclosed regarding the above embodiment.
（付記１）
マトリクス状に配列した複数の画素からなる画像を取得する手段と、取得された画像に撮影されている人物の顔及び該顔内の器官の領域を特定する特定手段とを備え、予め記憶されている化粧用画像を前記特定手段により特定された領域に重畳させる画像処理装置において、前記特定手段が特定した領域に基づき、該特定した領域に対応する化粧用画像の前記画像上の位置、大きさ、又は角度を決定する決定手段と、該決定手段が決定した大きさ又は角度に基づき、前記特定した領域に対応する化粧用画像の一部又は全部を拡縮又は回転して変形する変形手段と、前記決定手段が決定した位置に基づき、前記特定手段により特定された領域上に前記変形手段で変形された前記化粧用画像を重畳させる重畳手段とを備えることを特徴とする画像処理装置。
(Appendix 1)
A means for acquiring an image composed of a plurality of pixels arranged in a matrix, and a specifying means for specifying a human face imaged in the acquired image and an area of an organ in the face; In the image processing apparatus that superimposes the existing makeup image on the area specified by the specifying means, based on the area specified by the specifying means, the position and size of the makeup image corresponding to the specified area on the image Or a determining unit that determines an angle, and a deforming unit that deforms a part or all of a cosmetic image corresponding to the specified region by expanding or reducing or rotating based on the size or angle determined by the determining unit; An image comprising: superimposing means for superimposing the cosmetic image deformed by the deforming means on an area specified by the specifying means based on the position determined by the determining means. Management apparatus.
（付記２）
前記化粧用画像はつけまつげの画像を含み、前記決定手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置に基づき、前記つけまつげの画像の位置、大きさ、又は角度を決定し、前記変形手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置、又は、目尻及び目頭間を結ぶ線分の前記複数の画素の配列方向に対する角度に基づき、前記つけまつげの画像の一部を拡縮又は回転するようにしてあることを特徴とする付記１に記載の画像処理装置。
(Appendix 2)
The cosmetic image includes an image of false eyelashes, and the determining means is based on the position and size of the eye region specified by the specifying means, the position of the corner of the eye or the eye, or the position, size of the image of the false eyelash, or An angle is determined, and the deformation means is relative to the position of the eye region specified by the specifying means, the position of the corner of the eye or the eye, or the arrangement direction of the plurality of pixels of the line segment connecting the corner of the eye and the eye. The image processing apparatus according to
（付記３）
前記化粧用画像はつけまつげの画像を含み、前記段階別画像記憶手段は、前記つけまつげの画像の輪郭からの距離別に、該距離内の前記つけまつげの画像の外縁部を消去する距離変換処理を実行する手段を備え、距離別に、外縁部を消去した後のつけまつげの画像を記憶するようにしてあることを特徴とする付記１に記載の画像処理装置。
(Appendix 3)
The cosmetic image includes an image of false eyelashes, and the step-by-step image storage means executes distance conversion processing for erasing an outer edge portion of the image of the false eyelash within the distance for each distance from the contour of the image of the false eyelashes. The image processing apparatus according to
（付記４）
前記化粧用画像はアイラインの画像を含み、前記決定手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置に基づき、前記アイラインの画像の位置、大きさ、又は角度を決定し、前記変形手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置、又は、目尻及び目頭間を結ぶ線分の前記複数の画素の配列方向に対する角度に基づき、前記アイラインの画像の一部を拡縮又は回転するようにしてあることを特徴とする付記１に記載の画像処理装置。
(Appendix 4)
The cosmetic image includes an eyeline image, and the determining means determines the position and size of the eyeline image based on the position and size of the eye area specified by the specifying means and the position of the corner of the eye or the eye. Or an angle is determined, and the deforming means is an arrangement of the plurality of pixels of the segment of the eye area specified by the specifying means, the position of the corner of the eye or the eye, or a line segment connecting the corner of the eye and the eye The image processing apparatus according to
（付記５）
前記化粧用画像は光輝を放つ装飾の画像を含み、前記決定手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置に基づき、前記装飾の画像の位置、大きさ、及び角度を決定し、前記変形手段は、前記特定手段が特定した目の領域の位置、大きさ、目尻若しくは目頭の位置、又は、目尻及び目頭間を結ぶ線分の前記複数の画素の配列方向に対する角度に基づき、前記装飾の画像の一部を拡縮又は回転するようにしてあることを特徴とする付記１に記載の画像処理装置。
(Appendix 5)
The cosmetic image includes an image of a decoration that shines, and the determining means determines the position and size of the decoration image based on the position and size of the eye area specified by the specifying means and the position of the corner of the eye or the eye. And the deforming means determines the position of the eye region specified by the specifying means, the position of the corner of the eye or the corner of the eye, or a line segment connecting the corner of the eye and the corner of the eye. The image processing apparatus according to
（付記６）
前記化粧用画像は頬紅の画像を含み、前記決定手段は、前記特定手段が特定した顔領域の位置及び大きさ、前記複数の画素の配列方向に対する角度に基づき、前記頬紅の画像の位置、大きさ及び角度を決定し、前記変形手段は、前記特定手段が特定した顔領域の位置及び大きさに基づき、前記頬紅の画像の一部を拡縮し、前記顔領域内に収まるように一部を削除するようにしてあることを特徴とする付記１に記載の画像処理装置。
(Appendix 6)
The makeup image includes a blusher image, and the determining means determines the position and size of the blusher image based on the position and size of the face area specified by the specifying means and the angle with respect to the arrangement direction of the plurality of pixels. The deforming means enlarges / reduces a part of the blusher image based on the position and size of the face area specified by the specifying means, and partially changes the face area to fit within the face area. The image processing apparatus according to
７ 画像処理部
７０ ＣＰＵ（コンピュータ、重畳手段）
７１ メモリ（記憶装置）
７２ ＨＤＤ（記憶装置）
７２０ メイク用情報（化粧用画像）
７Ｐ 画像処理プログラム
３０ａ，３０ｂ ディスプレイ（表示手段）
３０１，３０２ プレビュー表示部（表示手段）
３０５ 調整用画面（選択手段）
３０８ 調整用画面（受付手段）
7
71 Memory (storage device)
72 HDD (storage device)
720 Information for makeup (images for makeup)
7P
301, 302 Preview display section (display means)
305 Adjustment screen (selection means)
308 Adjustment screen (reception means)
Claims (5)
複数の人物から各々操作を受け付けるべく分別された画面上にて夫々、前記複数の画像の内の１つの画像毎に、該画像内で特定された複数の顔領域の内の１つ、及び前記複数の顔領域全ての内のいずれかに、前記化粧用画像を重畳させる重畳手段
を備えることを特徴とする画像処理装置。 Means for acquiring a series of a plurality of images composed of a plurality of pixels arranged in a matrix, and specifying means for specifying a human face imaged in the acquired images and an area of an organ in the face. In an image processing apparatus comprising a cosmetic image that is a pre-stored lip, cheek, color contact, eyeline, or false eyelash photographic image on an area specified by the specifying means,
On each of the screens separated to accept operations from a plurality of persons, for each one of the plurality of images, one of a plurality of face regions specified in the image, and the An image processing apparatus comprising: a superimposing unit that superimposes the cosmetic image on any of a plurality of face regions.
前記複数の画像の内の１つの画像毎に、前記化粧用画像の重畳対象として、前記画像内で特定された複数の顔領域の内の１つずつ、及び前記複数の顔領域全ての内のいずれかの選択を受け付ける選択手段
を更に備えることを特徴とする請求項１に記載の画像処理装置。 The superimposing means includes
For each image of the plurality of images, one of a plurality of face regions specified in the image and one of all the plurality of face regions as a superimposition target of the makeup image. The image processing apparatus according to claim 1, further comprising selection means for accepting any selection.
前記選択手段が選択される都度に、前記表示画面には、前記画像内で特定された複数の顔領域の内の顔領域を１つずつ含む画像、及び前記画像内で特定された複数の顔領域全てを含む画像が順に切り替えられて表示される
ことを特徴とする請求項２に記載の画像処理装置。 Each of the sorted screens includes a display screen of a face area to be superimposed on the makeup image,
Each time the selection means is selected, the display screen includes an image including one face area among the plurality of face areas specified in the image, and a plurality of faces specified in the image. The image processing apparatus according to claim 2, wherein images including all the regions are sequentially switched and displayed.
複数の人物から各々操作を受け付けるべく分別された画面上にて夫々、前記複数の画像の内の１つの画像毎に、該画像内で特定された複数の顔領域の内の１つ、及び前記複数の顔領域全ての内のいずれかの選択を受け付け、
選択された顔領域に前記化粧用画像を重畳させる
ことを特徴とする画像処理方法。 Lips stored in advance are obtained by acquiring a series of images consisting of a plurality of pixels arranged in a matrix, identifying the face of a person and organ regions within the face captured in the acquired images In an image processing method for superimposing a cosmetic image that is a photographic image of teak, color contact, eyeline, or false eyelashes on a specified area,
On each of the screens separated to accept operations from a plurality of persons, for each one of the plurality of images, one of a plurality of face regions specified in the image, and the Accept selection of any of multiple face areas,
An image processing method comprising superimposing the makeup image on a selected face area.
前記コンピュータに、
複数の人物から各々操作を受け付けるべく分別された画面上にて夫々、前記複数の画像の内の１つの画像毎に、該画像内で特定された複数の顔領域の内の１つ、及び前記複数の顔領域全ての内のいずれかに、前記化粧用画像を重畳する
処理を実行させることを特徴とするコンピュータプログラム。 A computer is made to acquire a series of a plurality of images composed of a plurality of pixels arranged in a matrix, and a human face photographed in the acquired plurality of images and a region of an organ in the face are specified and stored in advance. In a computer program for superimposing a cosmetic image, which is a photographic image of a lip, teak, color contact, eyeline, or false eyelash, on a specified area
In the computer,
On each of the screens separated to accept operations from a plurality of persons, for each one of the plurality of images, one of a plurality of face regions specified in the image, and the A computer program for executing a process of superimposing the cosmetic image on any one of a plurality of face regions.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017048880A JP2017120660A (en) | 2017-03-14 | 2017-03-14 | Image processing device, image processing method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017048880A JP2017120660A (en) | 2017-03-14 | 2017-03-14 | Image processing device, image processing method and computer program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016122018A Division JP6314322B2 (en) | 2016-06-20 | 2016-06-20 | Image processing apparatus, image processing method, and computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017120660A true JP2017120660A (en) | 2017-07-06 |
Family
ID=59272375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017048880A Pending JP2017120660A (en) | 2017-03-14 | 2017-03-14 | Image processing device, image processing method and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017120660A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895343A (en) * | 2017-12-31 | 2018-04-10 | 广州二元科技有限公司 | A kind of image processing method that rouge is quickly and easily gone up based on facial feature localization |
| CN112308944A (en) * | 2019-07-29 | 2021-02-02 | 丽宝大数据股份有限公司 | Augmented reality display method of simulated lip makeup |
| CN112766234A (en) * | 2021-02-23 | 2021-05-07 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
| WO2023120525A1 (en) * | 2021-12-21 | 2023-06-29 | 花王株式会社 | Method for assisting with change of impression |
-
2017
- 2017-03-14 JP JP2017048880A patent/JP2017120660A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895343A (en) * | 2017-12-31 | 2018-04-10 | 广州二元科技有限公司 | A kind of image processing method that rouge is quickly and easily gone up based on facial feature localization |
| CN107895343B (en) * | 2017-12-31 | 2021-02-23 | 广州二元科技有限公司 | Image processing method for quickly and simply blush based on facial feature positioning |
| CN112308944A (en) * | 2019-07-29 | 2021-02-02 | 丽宝大数据股份有限公司 | Augmented reality display method of simulated lip makeup |
| CN112766234A (en) * | 2021-02-23 | 2021-05-07 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
| WO2023120525A1 (en) * | 2021-12-21 | 2023-06-29 | 花王株式会社 | Method for assisting with change of impression |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6086112B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP3856211B2 (en) | Image printing apparatus and method, and program | |
| JP5418708B2 (en) | Photo sealing machine, photo sealing machine processing method and program | |
| JP6314322B2 (en) | Image processing apparatus, image processing method, and computer program | |
| US20070052726A1 (en) | Method and system for likeness reconstruction | |
| JP2017120660A (en) | Image processing device, image processing method and computer program | |
| JP4715964B2 (en) | Photo sticker creation apparatus, photo sticker creation method, and program | |
| JP5459562B2 (en) | Photo seal machine, photo seal machine processing method, and program thereof | |
| US20190066348A1 (en) | Image processing system and method | |
| JP2017147621A (en) | Image processing apparatus, image processing method and computer program | |
| JP6810336B2 (en) | Photo creation game console and display method | |
| JP6754229B2 (en) | Image processing equipment and computer programs | |
| JP5541545B1 (en) | Photo sticker creation apparatus and method, and program | |
| JP5799381B1 (en) | Photography game machine and its control program | |
| JP6477780B2 (en) | Photo sticker creation apparatus, photo sticker creation method, and photo sticker creation processing program | |
| JP2017201550A (en) | Image processing apparatus, image processing method, and computer program | |
| JP6179655B2 (en) | Photography game machine, control method, and program | |
| JP7152687B2 (en) | Display control device, display control method, program | |
| JP6124087B2 (en) | Image editing apparatus and image editing method | |
| JP2018107515A (en) | Photograph formation game machine and image processing method | |
| JP6969622B2 (en) | Shooting game equipment and programs | |
| JP6241689B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2021043797A (en) | Image processing device, image processing method, and image processing program | |
| JP2019192061A (en) | Photograph creation game machine, control method and program | |
| JP6156559B2 (en) | Game shooting device, game shooting method, and program |