JP2021039654A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2021039654A JP2021039654A JP2019161940A JP2019161940A JP2021039654A JP 2021039654 A JP2021039654 A JP 2021039654A JP 2019161940 A JP2019161940 A JP 2019161940A JP 2019161940 A JP2019161940 A JP 2019161940A JP 2021039654 A JP2021039654 A JP 2021039654A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- user
- editing
- eyelash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 182
- 238000003672 processing method Methods 0.000 title claims description 3
- 210000000720 eyelash Anatomy 0.000 claims abstract description 152
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims description 67
- 238000001514 detection method Methods 0.000 claims description 27
- 241001469893 Oxyzygonectes dovii Species 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000007639 printing Methods 0.000 abstract description 18
- 235000002673 Dioscorea communis Nutrition 0.000 description 62
- 241000544230 Dioscorea communis Species 0.000 description 62
- 208000035753 Periorbital contusion Diseases 0.000 description 62
- 238000010586 diagram Methods 0.000 description 32
- 238000013461 design Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 239000000203 mixture Substances 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 6
- 235000019219 chocolate Nutrition 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008719 thickening Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 208000029152 Small face Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 2
- 229920002554 vinyl polymer Polymers 0.000 description 2
- 206010020565 Hyperaemia Diseases 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009408 flooring Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Landscapes
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本技術は、特に、より自然な形で目を大きく見せることができるようにした画像処理装置、画像処理方法、およびプログラムに関する。 The present technology particularly relates to image processing devices, image processing methods, and programs that allow the eyes to appear larger in a more natural way.
従来、写真シール作成装置が知られている。写真シール作成装置は、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供するものである。写真シール作成装置は遊戯施設などに設置される。 Conventionally, a photo sticker making device is known. The photo sticker creating device photographs a user, causes the user to edit the photographed image, and prints the edited image on a sticker paper to provide the photographed image. The photo sticker making device is installed in amusement facilities and the like.
写真シール作成装置が提供する１ゲームの流れは、通常、撮影空間内にいる利用者を被写体として撮影を行った後、利用者を編集空間に移動させ、編集空間内で行われる操作に従って画像を編集して、編集済みの画像をシール紙に印刷するものとなる。 The flow of one game provided by the photo sticker creation device is usually that after shooting a user in the shooting space as a subject, the user is moved to the editing space and the image is displayed according to the operation performed in the editing space. It will be edited and the edited image will be printed on the sticker paper.
特許文献１には、編集用のツールとして用意されたつけまつげの機能を用いることによって、撮影画像に写る利用者の顔を、化粧を施したような顔にすることができる技術が記載されている。つけまつげの機能が選択された場合、つけまつげを表す化粧用画像が顔の目の部分に合成される。
目の形は人それぞれ異なることから、定型のつけまつげの画像をそのまま合成しただけでは、合成後の見え方が不自然になってしまうことがある。 Since the shape of the eyes is different for each person, simply synthesizing the image of the standard false eyelashes may make the appearance after synthesizing unnatural.
本技術はこのような状況に鑑みてなされたものであり、より自然な形で目を大きく見せることができるようにするものである。 This technology was made in view of this situation, and makes it possible to make the eyes look bigger in a more natural way.
本技術の一側面の画像処理装置は、利用者を被写体として撮影して得られた撮影画像に写る前記利用者の目を検出する検出部と、まつげを表す画像であるまつげ画像を、検出した目の輪郭の形状に合わせて変形させる変形部と、変形後の前記まつげ画像を目の輪郭に沿って合成する合成部とを備える。 The image processing device on one aspect of the present technology detects a detection unit that detects the user's eyes in the captured image obtained by photographing the user as a subject, and an eyelash image that is an image representing the eyelashes. It includes a deformed portion that deforms according to the shape of the contour of the eye, and a composite portion that synthesizes the deformed eyelash image along the contour of the eye.
本技術の一側面においては、利用者を被写体として撮影して得られた撮影画像に写る前記利用者の目が検出され、まつげを表す画像であるまつげ画像が、検出された目の輪郭の形状に合わせて変形され、変形後の前記まつげ画像が目の輪郭に沿って合成される。 In one aspect of the present technology, the user's eyes appearing in the captured image obtained by photographing the user as a subject are detected, and the eyelash image, which is an image representing the eyelashes, is the shape of the detected eye contour. The deformed eyelash image is combined along the contour of the eye.
本技術によれば、より自然な形で目を大きく見せることができる。 According to this technology, it is possible to make the eyes look bigger in a more natural way.
＜写真シール作成装置の外観＞
図１および図２は、写真シール作成装置１の外観の構成例を示す斜視図である。
<Appearance of photo sticker making device>
1 and 2 are perspective views showing a configuration example of the appearance of the photo sticker making
写真シール作成装置１は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置１は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりすることで、利用者に画像を提供する。写真シール作成装置１は、ゲームセンターなどのアミューズメント施設や店舗に設置される。
The photo
写真シール作成装置１の利用者は、主に女子高生や若い女性が中心とされる。写真シール作成装置１において、１組あたり主に２人や３人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置１において、１人の利用者がゲームを楽しむこともできる。
The users of the photo sticker making
写真シール作成装置１において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
In the photo
写真シール作成装置１は、写真作成ゲームを提供する写真作成ゲーム機ということができる。
The photo
図１に示すように、写真シール作成装置１は、基本的に、撮影ユニット１１と編集ユニット１２が接した状態で設置されることによって構成される。撮影ユニット１１と編集ユニット１２は電気的に接続される。
As shown in FIG. 1, the photo
撮影ユニット１１は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有し、事前選択部２０、撮影部２１、および背景部２２から構成される。事前選択部２０は、撮影部２１の側面に設置される。事前選択部２０の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部２１と背景部２２は所定の距離だけ離して設置される。撮影部２１と背景部２２の間に形成される空間が、撮影処理が行われる撮影空間となる。
The photographing unit 11 has a box-shaped housing having a size large enough for a person to enter, and is composed of a
事前選択部２０は、事前選択処理として、写真シール作成装置１によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部２０には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択部２０は、撮影空間の空き状況に応じて、事前選択空間にいる利用者を撮影空間へと案内する。
As the preselection process, the
撮影部２１は、利用者を被写体として撮影するための装置である。撮影部２１は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部２１の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。
The photographing
撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部２１の左側面が側面パネル４１Ａにより構成され、右側面が側面パネル４１Ｂにより構成される。さらに、撮影部２１の正面が正面パネル４２により構成される。側面パネル４１Ａには、上述した事前選択部２０が設置される。なお、事前選択部２０が、側面パネル４１Ｂに設置されるようにしてもよい。
Assuming that the left side surface is the left side surface and the right side surface is the right side surface when viewed from the user facing the front in the shooting space, the left side surface of the photographing
背景部２２は、背面パネル５１、側面パネル５２Ａ、および側面パネルから構成される。背面パネル５１は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル５２Ａは、背面パネル５１の左端に取り付けられ、側面パネル４１Ａより横幅の狭い板状の部材である。側面パネル５２Ｂは、背面パネル５１の右端に取り付けられ、側面パネル４１Ｂより横幅の狭い板状の部材である。
The
側面パネル４１Ａと側面パネル５２Ａは、ほぼ同一平面に設けられる。側面パネル４１Ａと側面パネル５２Ａの上部は、板状の部材である連結部２３Ａによって連結される。側面パネル４１Ａと側面パネル５２Ａの下部は、床面に設けた例えば金属製の部材である連結部２３Ａ’によって連結される。側面パネル４１Ｂと側面パネル５２Ｂも同様に、ほぼ同一平面に設けられる。側面パネル４１Ｂと側面パネル５２Ｂの上部は、連結部２３Ｂによって連結される。側面パネル４１Ｂと側面パネル５２Ｂの下部は、連結部２３Ｂ’によって連結される。
The
側面パネル４１Ａと側面パネル５２Ａは、撮影空間の左側面を囲む部材となり、側面パネル４１Ｂと側面パネル５２Ｂは、撮影空間の右側面を囲む部材となる。
The
撮影空間の床には、板状の部材である床材２７が敷かれる。
A
側面パネル４１Ａ、連結部２３Ａ、および側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル４１Ｂ、連結部２３Ｂ、および側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口となる。
The opening formed by being surrounded by the
撮影空間の天井の一部には、ビニル素材の部材や板状の部材からなる天井シート２４が設けられる。
A
編集ユニット１２は、撮影画像に編集を施すための装置である。編集ユニット１２は、一方の側面が撮影部２１の正面パネル４２に接するようにして、撮影ユニット１１に連結して設けられる。
The
図２に示す編集ユニット１２の構成を正面側の構成とすると、編集ユニット１２の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、２組の利用者が同時に編集作業を行うことができる。
Assuming that the configuration of the
編集ユニット１２の正面側は、垂直な面６１と、面６１の上方に形成された斜面６２から構成される。斜面６２には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面６２の右側には、照明装置６４の一端を支持する柱状の支持部６３Ａが設けられる。斜面６２の左側には、照明装置６４の他端を支持する柱状の支持部６３Ｂが設けられる。支持部６３Ａの上面にはカーテンレール２６を支持する支持部６５が設けられる。
The front side of the
編集ユニット１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、３本のレール２６Ａ乃至２６Ｃを組み合わせて構成される。
A
３本のレール２６Ａ乃至２６Ｃは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール２６Ａとレール２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、レール２６Ａとレール２６Ｂの他端は、レール２６Ｃの両端にそれぞれ固定される。
The three
カーテンレール２６には、編集ユニット１２の正面前方の空間と背面前方の空間が外から見えないようにするためのカーテンが取り付けられる。カーテンレール２６に取り付けられたカーテンにより囲まれる編集ユニット１２の正面前方の空間と背面前方の空間が、利用者が編集作業を行う編集空間となる。
A curtain is attached to the
編集ユニット１２の側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット１２の側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
On the side surface of the
＜利用者の移動について＞
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。
<About user movement>
Here, the flow of the photo sticker creation game and the movement of the user accompanying it will be described.
図３は、写真シール作成装置１を上から見た平面図である。
FIG. 3 is a plan view of the photo
利用者は、事前選択部２０の前方の空間である事前選択空間Ａ０において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って事前選択作業を行う。例えば、利用者は、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
The user inserts the price into the coin slot in the preselection space A0, which is the space in front of the
事前選択作業を終えた利用者は、白抜き矢印＃１で示すように、側面パネル４１Ａと側面パネル５２Ａの間の出入り口Ｇ１から、撮影部２１と背景部２２の間に形成された撮影空間Ａ１に入る。利用者は、撮影部２１に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
As shown by the
撮影作業を終えた利用者は、白抜き矢印＃２で示すように出入り口Ｇ１から撮影空間Ａ１を出て編集空間Ａ２−２に移動するか、または、白抜き矢印＃３で示すように出入り口Ｇ２から撮影空間Ａ１を出て編集空間Ａ２−１に移動する。
The user who has completed the shooting work either exits the shooting space A1 from the entrance / exit G1 and moves to the editing space A2-2 as indicated by the
編集空間Ａ２−１は、編集ユニット１２の正面側の編集空間である。一方、編集空間Ａ２−２は、編集ユニット１２の背面側の編集空間である。利用者が編集空間Ａ２−１と編集空間Ａ２−２のいずれの空間に移動するのかは、撮影部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方が移動先として案内される。
The editing space A2-1 is an editing space on the front side of the
編集空間Ａ２−１または編集空間Ａ２−２に移動した利用者は、編集作業を開始する。編集空間Ａ２−１の利用者と、編集空間Ａ２−２の利用者は同時に編集作業を行うことができる。編集空間Ａ２−１と編集空間Ａ２−２を区別する必要がない場合、適宜、まとめて編集空間Ａ２という。 The user who has moved to the editing space A2-1 or the editing space A2-2 starts the editing work. The user of the editing space A2-1 and the user of the editing space A2-2 can perform editing work at the same time. When it is not necessary to distinguish between the editing space A2-1 and the editing space A2-2, they are collectively referred to as the editing space A2 as appropriate.
編集作業が終了した後、編集画像の印刷が開始される。編集空間Ａ２−１での編集作業を終えた利用者は、白抜き矢印＃５で示すように編集空間Ａ２−１から印刷待ち空間Ａ３に移動する。また、編集空間Ａ２−２での編集作業を終えた利用者は、白抜き矢印＃４で示すように編集空間Ａ２−２から印刷待ち空間Ａ３に移動する。
After the editing work is completed, printing of the edited image is started. The user who has completed the editing work in the editing space A2-1 moves from the editing space A2-1 to the print waiting space A3 as indicated by the
印刷待ち空間Ａ３に移動した利用者は、印刷が終わるのを待つ。印刷が終了すると、利用者は、編集ユニット１２の側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
The user who has moved to the print waiting space A3 waits for the print to finish. When printing is completed, the user receives the sticker paper discharged from the discharge port provided on the side surface of the
次に、各装置の構成について説明する。 Next, the configuration of each device will be described.
＜事前選択部の構成＞
図４は、事前選択部２０の構成例を示す図である。
<Structure of preselection unit>
FIG. 4 is a diagram showing a configuration example of the
事前選択部２０の上側にはタッチパネルモニタ７１が設けられる。タッチパネルモニタ７１は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ７１は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ７１には、利用者の人数の選択に用いられる画面などが表示される。
A touch panel monitor 71 is provided on the upper side of the
タッチパネルモニタ７１の下方にはスピーカ７２が設けられる。スピーカ７２は、事前選択処理の案内音声、BGM(Back Ground Music)、効果音などを出力する。スピーカ７２の隣に、利用者が硬貨を入れる硬貨投入返却口７３が設けられる。
A
＜撮影部の構成＞
図５および図６は、撮影部２１の構成例を示す斜視図である。
<Structure of shooting section>
5 and 6 are perspective views showing a configuration example of the photographing
撮影部２１は、側面パネル４１Ａ、側面パネル４１Ｂ、および正面パネル４２に囲まれるようにして構成される。
The photographing
正面パネル４２の略中央には箱状のカメラユニット８１が設けられる。カメラユニット８１の正面には、カメラ９１とタッチパネルモニタ９２が設けられる。カメラ９１の右側には、スマートフォンホルダ９３が設けられる。
A box-shaped
カメラ９１は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット８１の内部に取り付けられる。カメラ９１は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有する。カメラ９１は、撮影空間Ａ１にいる利用者を被写体として撮影を行う撮影部として機能する。
The
また、カメラ９１は、上下方向の首振り機能（角度調整機能）を有する。
Further, the
図７は、カメラ９１の角度調整の例を示す図である。
FIG. 7 is a diagram showing an example of angle adjustment of the
図７に示すように、カメラ９１は、カメラユニット８１の内部において姿勢を変えることによって、光軸の向きを上下方向に調整することが可能とされる。図７において、破線矢印はレンズの光軸の向きを表す。
As shown in FIG. 7, the
図７Ａ乃至Ｃに示すように、例えば、写真シール作成装置１の接地面と略水平な方向を上限とし、下限となる所定の下向きの角度までの範囲で、カメラ９１の角度を調整することが可能とされる。
As shown in FIGS. 7A to 7C, for example, the angle of the
このようなカメラ９１の角度の調整は、後述するように、撮影を行っている利用者の操作に従って電動で行われる。利用者は、カメラ９１の角度を好みの角度に調整して、撮影を行うことができる。
Such adjustment of the angle of the
カメラ９１により取り込まれた動画像に基づいて生成されたライブビュー画像は、タッチパネルモニタ９２に表示される。所定のタイミングでカメラ９１により取り込まれた静止画像は撮影画像として保存される。
The live view image generated based on the moving image captured by the
タッチパネルモニタ９２はカメラ９１の下方に設けられる。タッチパネルモニタ９２は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９２は、カメラ９１により取り込まれたライブビュー画像を表示するライブビューモニタとしての機能と、各種のGUIを表示して利用者の選択操作を受け付ける機能を備えている。
The touch panel monitor 92 is provided below the
カメラ９１の右側には、スマートフォンの置き場となるスマートフォンホルダ９３が設けられる。スマートフォンホルダ９３は、スマートフォンを横向きで置くのに十分な長さとなるように形成される。
On the right side of the
利用者は、自分のスマートフォンをスマートフォンホルダ９３に置き、スマートフォンを利用して、ゲーム中の自身の様子を動画像や静止画像として撮影することができる。
The user can place his / her smartphone on the
カメラユニット８１の上方には、カメラユニット８１の位置（カメラ９１の位置）を基準として左に偏った状態で上ストロボユニット８２が設置される。上ストロボユニット８２は、カメラユニット８１の上方と左上方の略全体を覆うようにして設けられる。
Above the
上ストロボユニット８２の正面は、斜め下方を向くように前傾したパネルと、その下方に設けられ、略垂直面を構成するパネルとから構成される。上ストロボユニット８２の正面が、透光性を有する乳白色の板状の部材を用いた発光面として構成される。上ストロボユニット８２は、カメラ９１による撮影に合わせて発光し、利用者の正面左上方から、主に利用者の顔と上半身にストロボ光を照射する。
The front surface of the
カメラユニット８１の下方には、主に利用者の下半身および足元にストロボ光を照射する足元ストロボユニット８３が設けられる。
Below the
足元ストロボユニット８３は、正面視において横長長方形となる正面全体が発光面となるように、側面パネル４１Ａと側面パネル４１Ｂとの間に隙間なく形成される。足元ストロボユニット８３の上面は、写真シール作成装置１の設置面と略水平な面であり、撮影作業を行う利用者が手荷物などを置くための荷物置き場として用いられる。
The
上ストロボユニット８２と足元ストロボユニット８３の内部には、常時点灯する電球とストロボ発光管が設けられる。上ストロボユニット８２と足元ストロボユニット８３は、電球を発光させることによって撮影空間内を常時照らすとともに、撮影タイミングに合わせてストロボ発光管を発光させることによって、被写体となる利用者にストロボ光を照射する。
Inside the
なお、正面パネル４２の天井付近にはスピーカが設けられる。スピーカからは、撮影処理の案内音声、BGM、効果音などが出力される。スピーカが背景部２２に設けられるようにしても良い。
A speaker is provided near the ceiling of the
図８は、背景部２２の撮影空間Ａ１側の構成例を示す図である。
FIG. 8 is a diagram showing a configuration example of the
背面パネル５１の内側には、緑色などの所定の色のシートが貼り付けられる。撮影された画像に写る緑色の領域を検出することによってクロマキー処理が行われ、人物の領域が検出される。
A sheet of a predetermined color such as green is attached to the inside of the
背面パネル５１の左端に取り付けられる側面パネル５２Ｂの内側には操作部５３が設けられる。
An
操作部５３は、図９に示すように、カメラ９１の向きを上方向または下方向に調整するときに押下される角度調整ボタン５３Ａと、撮影を停止するときに押下される撮影停止ボタン５３Ｂとから構成される。
As shown in FIG. 9, the
カメラ９１による撮影は、１０秒間隔などの所定の間隔で連続して行われる。撮影停止ボタン５３Ｂは、その連続撮影を一時的に停止させるために押下される。利用者は、連続撮影を一時的に停止させている状態で、角度調整ボタン５３Ａを押下し、カメラ９１の角度を調整することができる。
Shooting by the
操作部５３が側面パネル５２Ｂに設けられていることにより、カメラ９１に顔を向けている利用者の立ち位置は、無意識のうちに、撮影空間Ａ１において右側に僅かに寄った位置となる。撮影空間Ａ１において操作部５３の対角となる正面左側の位置に設けられた上ストロボユニット８２から立ち位置までの距離を確保することにより、適切な光量の光によって、上ストロボユニット８２から利用者を照射することが可能となる。
Since the
側面パネル５２Ｂに設けられた操作部５３は、利用者の立ち位置を無意識のうちに誘導する機能をも有する。操作部５３が側面パネル５２Ａ側に設けられるようにしてもよい。
The
＜編集ユニットの構成＞
図１０は、編集ユニット１２の正面側（図３の編集空間Ａ２−１側）の構成例を示す図である。背面側（図３の編集空間Ａ２−２側）にも同様の構成が設けられる。
<Structure of editing unit>
FIG. 10 is a diagram showing a configuration example of the front side (editing space A2-1 side of FIG. 3) of the
斜面６２のほぼ中央にはタブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１の左側にはタッチペン１３２Ａが設けられる。タブレット内蔵モニタ１３１の右側にはタッチペン１３２Ｂが設けられる。
A tablet built-in
タブレット内蔵モニタ１３１には、例えば、編集作業に用いられる編集画面が表示される。２人の利用者が同時に編集作業を行う場合、タッチペン１３２Ａはタブレット内蔵モニタ１３１に向かって左側にいる利用者により用いられ、タッチペン１３２Ｂはタブレット内蔵モニタ１３１に向かって右側にいる利用者により用いられる。
The tablet built-in
なお、タッチペン１３２Ａを用いた操作とタッチペン１３２Ｂを用いた操作は識別される。適宜、タブレット内蔵モニタ１３１の左側の表示に対してはタッチペン１３２Ａを用いた操作のみが可能とされ、右側の表示に対してはタッチペン１３２Ｂを用いた操作のみが可能とされる。以下、適宜、タッチペン１３２Ａとタッチペン１３２Ｂを区別する必要がない場合、まとめてタッチペン１３２という。
The operation using the
照明装置６４の下方であって、照明装置６４を支持する柱状の支持部６３Ａと支持部６３Ｂの間には、アクリルミラー板などにより構成される鏡面部６６が設けられる。鏡面部６６は略垂直な面を形成する。
Below the
図１０においては、鏡面となる鏡面部６６の範囲が色を付して示されている。鏡面部６６の横方向の幅は、タブレット内蔵モニタ１３１の横方向の幅より広い幅となる。鏡面部６６には、編集空間Ａ２−１にいる利用者の顔付近を含めて、編集空間Ａ２−１の内部の様子が写り込むことになる。
In FIG. 10, the range of the
図１１は、カーテンの取り付け例を示す図である。 FIG. 11 is a diagram showing an example of attaching a curtain.
図１１に示すように、編集ユニット１２の上方のカーテンレール２６には、編集空間Ａ２が外から見えないようにするためのカーテン取り付けられる。図１１の例においては、レール２６Ｃにカーテン１１１が取り付けられ、編集ユニット１２の正面側のレール２６Ｂにカーテン１１２が取り付けられている。編集ユニット１２の背面側のレール２６Ａにも、カーテン１１２と同様のカーテンが取り付けられる。
As shown in FIG. 11, a curtain is attached to the
ビニル素材のカーテン１１１、カーテン１１２の表面には、写真シール作成装置１が目立つように所定のデザインが施される。また、カーテン１１１とカーテン１１２のうち、少なくともカーテン１１２には、表面だけでなく裏面（編集空間Ａ２−１側の面）にも、所定のデザインが施される。
The surfaces of the vinyl material curtain 111 and the
図１２は、カーテン１１２の裏面のデザイン例を示す図である。
FIG. 12 is a diagram showing a design example of the back surface of the
図１２に示すように、カーテン１１２の裏面には、キャラクタや文字がプリントされることによってデザインが施される。
As shown in FIG. 12, the back surface of the
図１２の例においては、キャラクタである鳥のイラストと花のイラストからなるデザインが施されている。カーテン１１２の上方には、花に囲まれた「Happy!」の文字が、左右反転した状態でプリントされている。他のイラストがプリントされたり、風景や人物の写真がプリントされるといったように、カーテン１１２の裏面のデザインは任意である。
In the example of FIG. 12, a design including an illustration of a bird, which is a character, and an illustration of a flower is given. Above the
編集空間Ａ２−１にいる利用者は、図１２に示すようなデザインが施されたカーテン１１２に自分の背中を向けて立つことになる。利用者の前方にある鏡面部６６には、利用者の背景として、カーテン１１２のデザインも写り込む。
The user in the editing space A2-1 stands with his / her back facing the
図１３は、鏡面部６６の利用例を示す図である。
FIG. 13 is a diagram showing a usage example of the
図１３に示すように、編集空間Ａ２−１にいる利用者は、自分のスマートフォンのカメラを鏡面部６６に向けて、鏡面部６６に写っている自分の様子を撮影することができる。図１３の例においては利用者が１人だけ示されているが、２人でゲームを行っている場合、２人で撮影を行うことができる。
As shown in FIG. 13, a user in the editing space A2-1 can point the camera of his / her smartphone toward the
すなわち、鏡面部６６は、編集空間Ａ２−１にいる利用者が、いわゆる自撮り（自分撮り）を鏡越しで行うために用意されるものである。
That is, the
カーテン１１２の裏面には上述したようなデザインが施されているから、利用者は、カーテン１１２に施されたデザインを自分の背景にして自撮りを行うことができる。また、左右反転の状態でプリントされているカーテン１１２の文字は、図１３に示すように、正転した状態で鏡面部６６に写り込む。自撮りによって得られた画像には、カーテン１１２にプリントされた文字が、正転した状態で写ることになる。
Since the back surface of the
利用者は、編集空間Ａ２−１での自撮りによって撮影した画像を、自分が利用しているSNS(Social Networking Service)のサイトにアップロードし、友達などに見せることができる。 The user can upload the image taken by taking a selfie in the editing space A2-1 to the site of the SNS (Social Networking Service) that he / she is using and show it to his / her friends.
このように、写真シール作成装置１は、撮影空間Ａ１において撮影を行うだけでなく、編集空間Ａ２においても撮影を行うことが可能な装置である。後述するように、編集の開始時、自撮りを行うことが利用者に対して案内される。撮影を終えて編集空間Ａ２に移動した利用者に対しては、編集の前に、自撮りを行う時間が確保される。
As described above, the photo
なお、編集空間Ａ２−１側に取り付けられるカーテン１１２の裏面のデザインと、編集空間Ａ２−２側に取り付けられるカーテン１１２の裏面のデザインが異なるデザインであってもよい。利用者は、いずれのデザインのカーテン１１２が設置された方の編集空間Ａ２に案内されるのかを楽しむことができる。
The design of the back surface of the
カーテン１１２の裏面のデザインとして、商品やサービスの広告などがプリントされるようにしてもよい。
As the design of the back surface of the
図１４は、編集ユニット１２の側面の構成例を示す図である。
FIG. 14 is a diagram showing a configuration example of the side surface of the
編集ユニット１２の側面の下側にはシール紙排出口１６１が設けられる。編集ユニット１２の内部にはプリンタが設けられている。プリンタにより、編集空間Ａ２−１において編集作業を行った利用者が写る画像、または、編集空間Ａ２−２において編集作業を行った利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口１６１から排出される。
A sticker
＜編集画像のレイヤ構造＞
図１５は、編集画像のレイヤ構造の例を示す図である。
<Layer structure of edited image>
FIG. 15 is a diagram showing an example of the layer structure of the edited image.
左端の編集画像Ｐ１が編集によって生成される画像である。編集画像Ｐ１は、基本的に、背景画像Ｐ１１、人物画像Ｐ１２、前景画像Ｐ１３の各レイヤの画像から構成される。各種の画像処理の対象となるレイヤも適宜設定される。 The leftmost edited image P1 is an image generated by editing. The edited image P1 is basically composed of images of each layer of the background image P11, the person image P12, and the foreground image P13. Layers to be subject to various image processing are also set as appropriate.
図１５の例において、背景画像Ｐ１１は、単色の画像である。前景画像Ｐ１３は、「Love my friend」の手書き文字の画像とハート型の画像を含む画像である。「Love my friend」の手書き文字の画像は、ペンツールを用いて利用者によって入力されたペン画像である。また、ハート型の画像は、スタンプツールを用いて利用者によって入力されたスタンプ画像である。 In the example of FIG. 15, the background image P11 is a monochromatic image. The foreground image P13 is an image including a handwritten character image of "Love my friend" and a heart-shaped image. The handwritten image of "Love my friend" is a pen image input by the user using the pen tool. The heart-shaped image is a stamp image input by the user using the stamp tool.
このように、編集画像Ｐ１は、撮影画像からクロマキー処理によって抽出した人物の領域の画像である人物画像Ｐ１２を背景画像Ｐ１１に重ね、その上に前景画像Ｐ１３を重ねることによって生成される。ペン画像やスタンプ画像を背景画像Ｐ１１上に入力し、被写体の背景に表示させるようにすることも可能とされる。撮影画像に対しては、前景画像や背景画像が合成されることもあるし、編集処理を経たとしても利用者の操作によっては合成されないこともある。 As described above, the edited image P1 is generated by superimposing the person image P12, which is an image of the area of the person extracted from the captured image by the chroma key processing, on the background image P11, and superimposing the foreground image P13 on the background image P11. It is also possible to input a pen image or a stamp image on the background image P11 and display it on the background of the subject. Foreground images and background images may be combined with the captured image, and even after editing, they may not be combined depending on the user's operation.
図１５の例においては、人物画像Ｐ１２として、利用者の略胸付近から上の範囲が大きく写る画像が示されている。撮影処理においては、このように顔が大きく写る撮影画像であるアップ画像が撮影される。アップ画像の撮影は例えば複数回行われる。利用者の全身が写る全身画像の撮影が行われるようにしてもよい。 In the example of FIG. 15, as the person image P12, an image in which a large range above the vicinity of the user's chest is shown is shown. In the shooting process, a close-up image, which is a shot image in which the face appears large in this way, is shot. The close-up image is taken, for example, a plurality of times. A full-body image showing the whole body of the user may be taken.
＜写真シール作成装置の内部構成＞
図１６は、写真シール作成装置１の構成例を示すブロック図である。図１６において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
<Internal configuration of photo sticker making device>
FIG. 16 is a block diagram showing a configuration example of the photo
図１６に示すように、写真シール作成装置１は、PC(Personal Computer)部３０１に対して、事前選択部３０２、撮影部３０４、編集部３０５Ａ，３０５Ｂ、および印刷部３０６が外部入出力インタフェース３０３を介して接続されることによって構成される。情報処理部であるPC部３０１は、例えば編集ユニット１２の筐体内部に搭載される。
As shown in FIG. 16, in the photo
PC部３０１を構成するCPU(Central Processing Unit)３１１、ROM(Read Only Memory)３１２、RAM(Random Access Memory)３１３は、バス３１４により相互に接続される。
The CPU (Central Processing Unit) 311, ROM (Read Only Memory) 312, and RAM (Random Access Memory) 313 that make up the
CPU３１１は、所定のプログラムを実行し、写真シール作成装置１の全体の動作を制御する。ROM３１２は、CPU３１１が実行するプログラムやデータを記憶する。RAM３１２は、CPU３１１が処理するデータやプログラムを一時的に記憶する。
The
バス３１４には、さらに、入出力インタフェース３１５が接続される。入出力インタフェース３１５には、記憶部３１６、通信部３１７、およびドライブ３１８が接続される。
An input /
記憶部３１６は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部３１６は、CPU３１１から供給された各種の設定情報などを記憶する。記憶部３１６に記憶されている情報はCPU３１１により適宜読み出される。
The
通信部３１７は、インターネットなどのネットワークのインタフェースである。通信部３１７は、CPU３１１による制御に従って外部の装置と通信を行う。通信部３１７は、利用者により選択された画像を、例えば写真シール作成装置１のメーカーが管理する画像管理サーバに送信する。通信部３１７から送信された画像は、所定の記憶領域が割り当てられて保存され、画像管理サーバにアクセスしてきた携帯端末上で表示されたり、携帯端末にダウンロードされたりする。
The
ドライブ３１８には、光ディスクや半導体メモリなどよりなるリムーバブルメディア３１９が適宜装着される。ドライブ３１８によりリムーバブルメディア３１９から読み出されたプログラムやデータは、CPU３１１に供給され、記憶部３１６に記憶されたり、インストールされたりする。
A
入出力インタフェース３１５には外部入出力インタフェース３０３が接続される。PC部３０１による各部の制御が、外部入出力インタフェース３０３を介して行われる。
An external input /
事前選択部３０２は、事前選択空間Ａ０にいる利用者を対象とした事前選択処理を行う。事前選択部３０２は、タッチパネルモニタ７１、スピーカ７２、および硬貨処理部３２１から構成される。
The
タッチパネルモニタ７１は、PC部３０１による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、各種の設定が行われる。
The touch panel monitor 71 displays various selection screens according to the control by the
硬貨処理部３２１は、硬貨投入返却口７３への硬貨の投入を検出する。硬貨処理部３２１は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部３０１に出力する。
The
撮影部３０４は、撮影空間Ａ１にいる利用者を対象とした撮影処理を行う。撮影部３０４は、操作部５３、カメラ９１、カメラ駆動部９１Ａ、タッチパネルモニタ９２、照明装置３３１、およびスピーカ３３２から構成される。
The
操作部５３は、角度調整ボタン５３Ａ、撮影停止ボタン５３Ｂに対する利用者の操作に応じて、利用者の操作を表す信号をPC部３０１に出力する。
The
カメラ９１は、PC部３０１によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像（画像データ）をPC部３０１に出力する。
The
カメラ駆動部９１Ａは、PC部３０１による制御に従って、カメラ９１の上下方向の角度を調整する。
The
照明装置３３１は、撮影空間Ａ１内の各ストロボユニットであり、PC部３０１から供給される照明制御信号に従って発光する。照明装置３３１には、上ストロボユニット８２と足元ストロボユニット８３が含まれる。
The
スピーカ３３２は、撮影空間Ａ１の各位置に設けられたスピーカにより構成される。
The
編集部３０５Ａは、編集空間Ａ２−１にいる利用者を対象とした編集処理を行う。編集部３０５Ａは、タブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ３４１から構成される。編集部３０５Ｂは、編集空間Ａ２−２にいる利用者を対象とした編集処理を行い、編集部３０５Ａと同一の構成を有する。以下、適宜、編集部３０５Ａ，３０５Ｂをまとめて編集部３０５という。
The
タブレット内蔵モニタ１３１は、PC部３０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部３０１に供給され、編集対象となる撮影画像が編集される。
The tablet built-in
印刷部３０６は、プリンタ３５１を含むように構成される。プリンタ３５１にはシール紙ユニット３５２が装着される。
The
プリンタ３５１は、内蔵するヘッド３６１を駆動し、PC部３０１から供給された印刷データに基づいて、シール紙ユニット３５２に収納されているロール状のシール紙３６３に画像を印刷する。また、プリンタ３５１は、画像を印刷したシール紙３６３をカッター３６２によって所定のカット位置でカットして、シール紙排出口１６１に排出する。
The printer 351 drives the built-in
＜写真シール作成装置の機能構成例＞
図１７は、写真シール作成装置１の機能構成例を示すブロック図である。図１７に示す機能部のうちの少なくとも一部は、CPU３１１により所定のプログラムが実行されることによって実現される。
<Example of functional configuration of photo sticker creation device>
FIG. 17 is a block diagram showing a functional configuration example of the photo
写真シール作成装置１においては、事前選択処理部４０１、撮影処理部４０２、編集処理部４０３、および印刷処理部４０４が実現される。
In the photo
事前選択処理部４０１は、事前選択部３０２の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択などが行われる。利用者による選択内容を表す情報は撮影処理部４０２に供給される。
The
撮影処理部４０２は、撮影部３０４の各部を制御することで撮影処理を行う。撮影処理部４０２は、撮影処理を行うことによって得られた撮影画像のデータを編集処理部４０３に出力する。撮影処理部４０２から編集処理部４０３に対しては、撮影を複数回行うことによって得られた複数枚の撮影画像のデータが供給される。
The
編集処理部４０３は、編集部３０５の各部を制御することで編集処理を行う。編集処理には、撮影画像に写る利用者の目の大きさを調整するための画像処理、撮影画像に対して編集を施すための画像処理などが含まれる。
The
撮影画像の編集後、編集処理部４０３は、分割数の選択に用いられる画面、画像管理サーバに送信する画像の選択に用いられる画面などの各種の画面をタブレット内蔵モニタ１３１に表示する。編集処理部４０３は、利用者により選択された分割数に従って各編集画像を配置することによって印刷データを生成し、印刷処理部４０４に出力する。また、編集処理部４０３は、利用者により選択された編集画像を画像管理サーバに送信する。
After editing the captured image, the
印刷処理部４０４は、プリンタ３５１に印刷データを出力し、編集画像の印刷を行う。
The
＜撮影処理部の詳細構成＞
図１８は、撮影処理部４０２の構成例を示すブロック図である。
<Detailed configuration of the shooting processing unit>
FIG. 18 is a block diagram showing a configuration example of the photographing
撮影処理部４０２は、撮影制御部４１１、画像処理部４１２、表示制御部４１３、および画像記憶部４１４から構成される。
The
撮影制御部４１１は、カメラ９１を制御することによって動画像の撮影を行い、撮影を行うことによって得られた画像を画像処理部４１２に出力する。撮影制御部４１１から出力された動画像はライブビュー画像の生成に用いられる。
The
また、撮影制御部４１１は、カウントダウンに合わせて静止画像の撮影を行い、撮影を行うことによって得られた静止画像を画像処理部４１２に出力する。撮影制御部４１１から出力された静止画像は撮影画像の生成に用いられる。
Further, the
画像処理部４１２は、撮影制御部４１１から供給された動画像の各フレームから矩形領域をトリミングにより切り出し、切り出した画像からなる動画像を生成する。画像処理部４１２により生成された動画像は、ライブビュー画面に表示するライブビュー画像として用いられる。
The
また、画像処理部４１２は、撮影制御部４１１から供給された静止画像から矩形領域をトリミングにより切り出すことによって、所定の画角の撮影画像を生成する。画像処理部４１２により生成された撮影画像は、画像記憶部４１４に供給され、記憶される。
Further, the
表示制御部４１３は、ライブビュー画面などの、タッチパネルモニタ９２の各種の画面の表示を制御する。
The
画像記憶部４１４は、画像処理部４１２により生成された撮影画像を記憶する。撮影処理が終了した場合、画像記憶部４１４に記憶された撮影画像は編集処理部４０３に供給される。
The
＜編集処理部の詳細構成＞
図１９は、図１７の編集処理部４０３の構成例を示すブロック図である。
<Detailed configuration of editing processing unit>
FIG. 19 is a block diagram showing a configuration example of the
編集処理部４０３は、選択受付部４３１、編集用画像生成部４３２、編集制御部４３３、表示制御部４３４、印刷データ生成部４３５、および通信制御部４３６から構成される。編集制御部４３３には黒目処理部４３３Ａと輪郭調整部４３３Ｂが含まれる。
The
選択受付部４３１は、タブレット内蔵モニタ１３１に表示された画面に対する利用者の操作を受け付ける。選択受付部４３１により受け付けられた利用者の操作の内容を表す情報は、編集制御部４３３と表示制御部４３４に供給される。
The
編集用画像生成部４３２は、撮影処理部４０２から供給された撮影画像に基づいて、編集用の撮影画像を生成する。例えば、画像処理部４１２（図１８）によるトリミング後のそれぞれの画像を原画として、レタッチ処理などの各種の処理を原画に対して施して得られた画像が、編集用の撮影画像となる。編集用画像生成部４３２により生成された編集用の撮影画像は、編集制御部４３３と表示制御部４３４に供給される。
The editing
編集制御部４３３は、選択受付部４３１から出力された情報に基づいて、編集用画像生成部４３２から供給された編集用の撮影画像の編集を行う。編集は、手書きの文字やスタンプ画像などの合成用画像を、編集対象となっている撮影画像に合成する画像処理である。
The
編集用画像生成部４３２により行われるレタッチ処理が、利用者による選択内容に応じた画像処理を複数の撮影画像のそれぞれに一括して施す処理であるのに対して、編集は、利用者による選択内容に応じた画像処理を、そのとき編集対象となっている１枚の撮影画像に施す処理である。レタッチ処理時、目の大きさなどを撮影画像毎に選択することができるようにしてもよい。
The retouching process performed by the editing
編集制御部４３３は、編集結果を表す情報を表示制御部４３４に出力し、編集画面の表示に反映させる。
The
編集制御部４３３は、編集が終了した場合、編集を施して得られた撮影画像である編集画像を印刷データ生成部４３５と通信制御部４３６に出力する。
When the editing is completed, the
編集制御部４３３の黒目処理部４３３Ａは、編集画面に対する利用者の操作に応じて、撮影画像に写るそれぞれの利用者の黒目の色を変更する処理である黒目処理を行う。
The black
編集制御部４３３の輪郭調整部４３３Ｂは、編集画面に対する利用者の操作に応じて画像処理を行い、編集用の撮影画像に写る利用者の特定の部位を強調させる。例えば、目全体、または、黒目部分などの目の一部を強調させるための画像処理が輪郭調整部４３３Ｂにより行われる。
The
表示制御部４３４は、利用者による操作に用いられる操作画面をタブレット内蔵モニタ１３１に表示し、利用者の操作に応じて操作画面の表示を制御する。表示制御部４３４には、編集用画像生成部４３２から出力された撮影画像、編集制御部４３３から出力された編集画像などが供給される。表示制御部４３４に供給された各種の画像は操作画面の表示に用いられる。
The
印刷データ生成部４３５は、編集制御部４３３から供給された編集画像を所定のレイアウトで配置することによって印刷データを生成する。印刷データ生成部４３５は、印刷データを印刷処理部４０４に出力し、シール紙３６３に印刷させる。
The print
通信制御部４３６は、通信部３１７を制御し、編集制御部４３３から供給された編集画像を画像管理サーバに送信する。
The
図２０は、編集用画像生成部４３２の構成例を示すブロック図である。
FIG. 20 is a block diagram showing a configuration example of the editing
編集用画像生成部４３２は、領域検出部４５１、レタッチ処理部４５２、性別判定部４５３、まつげ処理部４５４、および縮小部４５５により構成される。
The editing
撮影処理部４０２から供給された撮影画像は、領域検出部４５１、レタッチ処理部４５２、および性別判定部４５３に入力される。編集用画像生成部４３２の各部による処理は、それぞれの撮影画像を対象として行われる。
The captured image supplied from the photographing
領域検出部４５１は、撮影画像に写る人物である利用者の領域を検出するとともに、利用者の各部位の領域を検出する。例えば、利用者の顔の領域、顔を構成する部位としての目、まぶた、鼻、唇、頬の領域、髪の毛の領域などが領域検出部４５１により検出される。
The
図２１は、領域の検出の例を示す図である。 FIG. 21 is a diagram showing an example of region detection.
２人の女性が写る撮影画像Ｐ１０１が供給された場合、それぞれの利用者を対象として、顔や、顔の各部位の領域の検出が行われる。例えば左側に写る利用者からは、左右のそれぞれの目の領域を含む各領域が検出される。 When the photographed image P101 showing two women is supplied, the face and the region of each part of the face are detected for each user. For example, from the user on the left side, each area including the areas of the left and right eyes is detected.
左側に写る利用者の右目の領域に注目した場合、図２１の左側に拡大して示すように、黒目領域Ａ１１と、黒目領域Ａ１１の左右の白目領域Ａ１２，Ａ１３がそれぞれ検出される。 When paying attention to the area of the user's right eye reflected on the left side, the black eye area A11 and the left and right white eye areas A12 and A13 of the black eye area A11 are detected, respectively, as shown enlarged to the left side of FIG.
白目領域Ａ１２は、鼻に近い方の白目の領域であり、白目領域Ａ１３は、耳に近い方の白目の領域である。位置ｐ１は目頭の位置を表し、位置ｐ２は目尻の位置を表す。黒目領域Ａ１１には、上ストロボユニット８２と足元ストロボユニット８３の発光により、それぞれの形状や大きさに応じたキャッチライトが写り込む。
The white eye region A12 is the region of the white eye closer to the nose, and the white eye region A13 is the region of the white eye closer to the ear. The position p1 represents the position of the inner corner of the eye, and the position p2 represents the position of the outer corner of the eye. In the black eye region A11, the
黒目領域と白目領域の検出は、例えば、ニューラルネットワークなどにより構成される予測モデルに基づいて行われる。領域検出部４５１に対しては、機械学習によってあらかじめ生成された、目の各領域を検出するための予測モデルが用意されている。
The detection of the black eye region and the white eye region is performed based on a prediction model configured by, for example, a neural network. For the
領域検出部４５１に用意される予測モデルは、例えば、撮影画像を入力とし、目の各領域のマスク画像、目の周りの肌の領域のマスク画像を出力とするモデルである。予測モデルから出力されたマスク画像により、黒目領域と白目領域の各領域の位置、大きさ、形状などが表される。
The prediction model prepared in the
黒目領域と白目領域の検出が、予測モデルを用いるのではなく、画像を解析することによって抽出された各領域の特徴量に基づくマッチングにより行われるようにしてもよい。この場合、黒目領域と白目領域の各領域の特徴量を表すデータが領域検出部４５１には用意される。
The detection of the black eye region and the white eye region may be performed by matching based on the feature amount of each region extracted by analyzing the image, instead of using the prediction model. In this case, the
目の各領域だけでなく、顔全体や、顔の他の各部の領域についても、機械学習によって生成された予測モデルを用いて検出されるようにしてもよい。また、特徴量に基づくマッチングにより検出されるようにしてもよい。 Not only each region of the eye, but also the entire face and other regions of the face may be detected using a prediction model generated by machine learning. Further, it may be detected by matching based on the feature amount.
図２０の領域検出部４５１は、以上のようにして検出した各領域の情報をレタッチ処理部４５２とまつげ処理部４５４に出力する。領域検出部４５１から出力される情報により、撮影画像に写るそれぞれの利用者の左右の目の黒目領域と白目領域の位置、大きさ、形状などが表される。領域検出部４５１による検出結果を表す情報は、後段の編集制御部４３３にも供給される。
The
レタッチ処理部４５２は、撮影画像に対してレタッチ処理を施す。レタッチ処理は、顔の輪郭の調整、目の大きさの調整などの、撮影画像に写る利用者の特定の部位に対する画像処理である。画像処理の対象となる各領域が、領域検出部４５１から供給される情報により特定される。レタッチ処理が施された撮影画像は、まつげ処理部４５４に供給される。
The
肌の明るさの調整などの他の処理がレタッチ処理として行われるようにしてもよい。特定の部位に対する処理ではなく、画像全体を対象としたフィルタ処理などの他の画像処理が行われるようにしてもよい。 Other processes such as adjusting the brightness of the skin may be performed as the retouch process. Other image processing such as filtering processing for the entire image may be performed instead of processing for a specific part.
性別判定部４５３は、撮影画像に写るそれぞれの利用者の性別を判定し、判定結果を表す情報をまつげ処理部４５４に出力する。性別判定部４５３による判定についても、機械学習によって生成された予測モデルに基づいて行われるようにしてもよいし、画像を解析することによって抽出された各領域の特徴量に基づくマッチングにより行われるようにしてもよい。
The
まつげ処理部４５４は、レタッチ処理部４５２から供給された撮影画像に写るそれぞれの利用者のまつげ（睫毛）を強調する画像処理であるまつげ処理を行う。まつげ処理は、性別判定部４５３による判定結果に基づいて、例えば女性だけを対象として行われる。まつげ処理が施されることによってまつげが強調された撮影画像は、縮小部４５５に供給される。まつげ処理部４５４により行われるまつげ処理については後に詳述する。
The
縮小部４５５は、まつげ処理部４５４から供給された撮影画像を縮小することによって、編集用の撮影画像を生成する。撮影画像の縮小は、例えば画素を間引き、撮影画像を構成する画素数を減らすことによって行われる。縮小部４５５により生成された編集用の撮影画像は、編集制御部４３３などに供給される。
The
このように、編集用画像生成部４３２においては、レタッチ処理とまつげ処理は、縮小前の原画に対して施されることになる。データ量の多い撮影画像を対象として、精細な処理を施すことが可能となる。
As described above, in the editing
図２２は、図２０のまつげ処理部４５４の構成例を示すブロック図である。
FIG. 22 is a block diagram showing a configuration example of the
まつげ処理部４５４は、逆さまつげ除去部４６１、変形部４６２、合成部４６３、およびまつげ強調処理部４６４により構成される。
The
レタッチ処理部４５２から供給されたレタッチ処理後の撮影画像は逆さまつげ除去部４６１に入力される。また、領域検出部４５１により検出された各領域の情報は、まつげ処理部４５４の各部に入力される。性別判定部４５３による性別の判定結果を表す情報は、変形部４６２と合成部４６３に入力される。
The captured image after the retouch processing supplied from the
逆さまつげ除去部４６１は、撮影画像に写る利用者の目に逆さまつげがある場合、逆さまつげを画像処理によって除去する。逆さまつげは、上まつげのうち、下向きになって生えていて白目領域にかかっているまつげ、および、下まつげのうち、上向きになって生えていて白目領域にかかっているまつげである。白目領域の位置などについては、領域検出部４５１から供給された情報に基づいて特定される。
The upside-down
図２３は、逆さまつげの除去の例を示す図である。 FIG. 23 is a diagram showing an example of removing the upside-down thorn.
図２３の左側に破線の円Ｃ１で囲んで示すように白目領域Ａ１３にまつげがかかって写っている場合、逆さまつげ除去部４６１は、まつげを構成する画素を、周りの白目領域Ａ１３の画素で置き換える（補間する）ことによって、図２３の右側に示すように逆さまつげを除去する。
When the white eye area A13 is covered with eyelashes as shown by being surrounded by the broken line circle C1 on the left side of FIG. 23, the upside-down
白目領域Ａ１３にまつげがかかって写っていることは、白目領域の標準の色として設定された白色以外の色の画素が白目領域Ａ１３内にある場合に、その画素を異常画素として検出することによって特定される。逆さまつげ除去部４６１には、白目領域の標準の色を表す情報があらかじめ設定されている。
The fact that the white-eye area A13 is covered with eyelashes means that when a pixel of a color other than white, which is set as the standard color of the white-eye area, is in the white-eye area A13, the pixel is detected as an abnormal pixel. Be identified. Information representing a standard color of the white-eyed region is preset in the upside-down
逆さまつげ除去部４６１においては、標準の色以外の色の画素である異常画素を、周りにある白色の画素で補間することによって、逆さまつげの除去が行われる。
In the upside-down
白色以外の色の画素を異常画素として検出し、白色の画素で補間する処理が逆さまつげ除去部４６１において行われるため、結果的に、充血して赤くなっている部分なども除去されることになる。
Since the process of detecting pixels of a color other than white as abnormal pixels and interpolating with the white pixels is performed by the upside-down
以上のようにして逆さまつげが除去された撮影画像が逆さまつげ除去部４６１から出力される。撮影画像に写る利用者の目に逆さまつげがない場合、逆さまつげ除去部４６１に入力された撮影画像はそのまま出力される。
The captured image from which the upside-down thorns have been removed as described above is output from the upside-down
変形部４６２は、逆さまつげ除去部４６１から供給された撮影画像に写る利用者が女性である場合、その利用者の目の上側の輪郭の形状に合わせて、まつげ画像を変形させる。変形部４６２には、まつげを表現したテクスチャ画像であるまつげ画像があらかじめ記憶されている。変形部４６２による変形後のまつげ画像が、撮影画像に写る利用者の目の部分に対する合成に用いられる。
When the user in the photographed image supplied from the upside-down
図２４は、まつげ画像の変形の例を示す図である。 FIG. 24 is a diagram showing an example of deformation of the eyelash image.
変形部４６２は、図２４の左上に示すような、デフォルトの形状のまつげ画像Ｐ１１１を有している。撮影画像に写る利用者の例えば右目ＥRの上側の輪郭の形状が、図２４の左下に示す位置ｐ１から位置ｐ２までの曲線で表される場合、変形部４６２は、まつげ画像Ｐ１１１を位置ｐ１−位置ｐ２間の曲線の特定の区間の形状に合わせて変形させ、図２４の右側に示す、変形後のまつげ画像Ｐ１１１’を生成する。位置ｐ１−位置ｐ２間の曲線は、領域検出部４５１から供給された情報に基づいて特定される。
The
変形部４６２は、以上のようにして変形したまつげ画像を合成部４６３に出力する。デフォルトのまつげ画像が複数用意されており、変形に用いられるまつげ画像が選択されるようにしてもよい。まつげ画像の選択が、利用者により行われるようにしてもよいし、まつげ処理部４５４において自動的に行われるようにしてもよい。
The deforming
図２２の合成部４６３は、逆さまつげ除去部４６１から供給された撮影画像に写る女性の利用者の目の上側の輪郭に沿って、変形部４６２により変形されたまつげ画像を合成する。
The
図２５は、まつげ画像の合成の例を示す図である。 FIG. 25 is a diagram showing an example of synthesizing eyelash images.
図２５の左上に示すような変形後のまつげ画像Ｐ１１１’が供給された場合、合成部４６３は、図２５の右側に示すように、まつげ画像Ｐ１１１’を右目ＥRの上側の輪郭に沿って合成する。右目ＥRの上側の輪郭の位置は、領域検出部４５１から供給された情報に基づいて特定される。
'If is supplied, the
以上のようなまつげ画像の合成が左目についても同様にして行われる。左目に対するまつげ画像の合成は、例えば、右目用として用意されたまつげ画像Ｐ１１１を用いて行われる。 The above eyelash image composition is performed in the same manner for the left eye. The composition of the eyelash image for the left eye is performed using, for example, the eyelash image P111 prepared for the right eye.
この場合、変形部４６２は、まつげ画像Ｐ１１１の左右を反転させ、左右反転後のまつげ画像Ｐ１１１の形状を、左目の上側の形状に合わせて変形させる。合成部４６３は、変形部４６２による変形後のまつげ画像Ｐ１１１を左目の上側の輪郭に沿って合成する。
In this case, the deforming
このように、左目に対するまつげ画像の合成には、右目用として用意されたまつげ画像の左右を反転させた画像が用いられる。左目に対する処理が右目用の画像を用いて行われるため、用意しておく必要があるまつげ画像の数を減らすことができる。反対に、左目用のまつげ画像が用意されており、右目に対する処理が、左目用の画像を用いて行われるようにしてもよい。当然、右目用と左目用のそれぞれのまつげ画像が用意されるようにしてもよい。 As described above, in the composition of the eyelash image for the left eye, the left-right inverted image of the eyelash image prepared for the right eye is used. Since the processing for the left eye is performed using the image for the right eye, the number of eyelash images that need to be prepared can be reduced. On the contrary, an eyelash image for the left eye is prepared, and the processing for the right eye may be performed using the image for the left eye. Of course, eyelash images for the right eye and each eyelash image for the left eye may be prepared.
以上のようなまつげ画像の合成は、撮影画像に写るそれぞれの女性を対象として行われる。合成部４６３は、まつげ画像の合成後の撮影画像を図２２のまつげ強調処理部４６４に出力する。
The above-mentioned composition of eyelash images is performed for each woman in the photographed image. The
まつげ強調処理部４６４は、合成部４６３から供給された撮影画像に写るまつげを画像処理によって強調させる。例えば、上まつげと下まつげの１本１本を太くする処理や、色を濃くする処理が行われる。まつげ強調処理部４６４は、まつげを強調した撮影画像を出力する。
The eyelash
＜写真シール作成装置の動作＞
ここで、図２６のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の動作について説明する。図２６の処理は、例えば、所定の金額分の硬貨が投入されたときに開始される。
<Operation of photo sticker making device>
Here, the operation of the photo
ステップＳ１において、事前選択処理部４０１は、事前選択部３０２を制御することで事前選択処理を行う。事前選択処理により、例えば、利用者の人数の選択、撮影コースの選択などが行われる。いずれの選択も、タッチパネルモニタ７１に表示される選択画面を用いて行われる。
In step S1, the
ステップＳ２において、撮影処理部４０２は、撮影部３０４を制御することで撮影処理を行う。
In step S2, the photographing
例えば、撮影処理部４０２は、立ち位置の誘導を行った後、カメラ９１により取り込まれた動画像に基づいて、ライブビュー画面をタッチパネルモニタ９２に表示させる。また、撮影処理部４０２は、ライブビュー画面を表示させた後、撮影空間Ａ１にいる利用者を被写体として静止画像の連続撮影を行う。
For example, the
ステップＳ３において、編集処理部４０３は、編集空間Ａ２−１と編集空間Ａ２−２のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部３０５を制御することで編集処理を行う。
In step S3, the
例えば、編集処理部４０３は、タブレット内蔵モニタ１３１に編集画面を表示させ、撮影画像に対して利用者に編集作業を行わせる。編集画面には、編集対象の撮影画像とともに、撮影画像に合成する合成用画像を選択するときに操作されるボタンなどが表示される。編集処理の詳細については図２７のフローチャートを参照して後述する。
For example, the
ステップＳ４において、印刷処理部４０４は、プリンタ３５１を制御することで、印刷処理を行う。印刷処理部４０４は、編集処理部４０３により生成された印刷データをプリンタ３５１に出力してシール紙３６３に印刷させる。
In step S4, the
印刷が終了した場合、ステップＳ５において、プリンタ３５１は、カッター３６２で切り離したシール紙３６３をシール紙排出口１６１に排出する。
When printing is completed, in step S5, the printer 351 discharges the
写真シール作成装置１の利用者の各グループに対しては、以上のような一連の処理からなる写真作成ゲームが提供される。あるグループの利用者に続けて他のグループの利用者が写真シール作成装置１の利用を開始した場合、写真シール作成装置１の利用を先に始めた利用者の写真シール作成ゲームと、後から始めた利用者の写真シール作成ゲームとが適宜並行して行われることになる。適宜、写真シール作成ゲームを単にゲームともいう。
For each group of users of the photo
＜編集処理＞
次に、図２７のフローチャートを参照して、図２６のステップＳ３において行われる編集処理について説明する。
<Editing process>
Next, the editing process performed in step S3 of FIG. 26 will be described with reference to the flowchart of FIG. 27.
ステップＳ４１において、編集処理部４０３の表示制御部４３４（図１９）は、落書き前自撮りの案内画面をタブレット内蔵モニタ１３１に表示させる。ここでいう落書きは、撮影画像の編集のことを意味する。編集は、タッチペン１３２を用いて、撮影画像を落書きするようにして行われる。
In step S41, the display control unit 434 (FIG. 19) of the
図２８は、落書き前自撮りの案内画面の表示例を示す図である。 FIG. 28 is a diagram showing a display example of a guidance screen for self-portrait before graffiti.
図２８に示すように、落書き前自撮りの案内画面の左側には、モデルの人物が鏡面部６６越しに自撮りを行っている様子を表す画像が表示される。案内画面の右側には、自撮りによって得られた画像のサンプル画像が表示される。それぞれの画像の下には、画像の内容を説明するメッセージが表示される。
As shown in FIG. 28, on the left side of the guidance screen for self-portrait before graffiti, an image showing a model person taking a self-portrait through the
このような案内画面を表示させることにより、鏡面部６６を用いてどのような自撮りを行うことができるのかを利用者に分かりやすく伝えることができる。
By displaying such a guidance screen, it is possible to inform the user in an easy-to-understand manner what kind of self-portrait can be taken using the
編集空間Ａ２に移動してきた利用者は、案内画面に従って、自分のスマートフォンを用意し、鏡面部６６越しに自撮りを行う。
The user who has moved to the editing space A2 prepares his / her own smartphone according to the guidance screen and takes a selfie through the
図２７の説明に戻り、ステップＳ４２において、編集用画像生成部４３２は編集用画像生成処理を行う。編集用画像生成処理により、それぞれの撮影画像を元にして編集用の撮影画像が生成される。
Returning to the description of FIG. 27, in step S42, the editing
撮影処理においては、例えば最大８枚の撮影画像の撮影が行われる。撮影画像の枚数が多いため、それぞれの撮影画像に基づいて行われる編集用の撮影画像の生成には一定の時間が必要になる。編集用の撮影画像の生成は、編集前の自撮り用に確保された時間を利用して行われる。利用者は、編集用の撮影画像の生成が行われている間も、退屈せずに待つことができる。 In the shooting process, for example, a maximum of eight shot images are shot. Since the number of captured images is large, it takes a certain amount of time to generate captured images for editing based on each captured image. The captured image for editing is generated by utilizing the time reserved for self-shooting before editing. The user can wait without getting bored while the captured image for editing is being generated.
利用者が自撮りを行っている間に行われる編集用画像生成処理の詳細については図３０のフローチャートを参照して後述する。 Details of the editing image generation process performed while the user is taking a selfie will be described later with reference to the flowchart of FIG.
ステップＳ４３において、表示制御部４３４は、キープ画像の選択画面をタブレット内蔵モニタ１３１に表示させる。図２８の案内画面に代えてキープ画像の選択画面がタブレット内蔵モニタ１３１に表示されることにより、利用者は自撮りを終え、タブレット内蔵モニタ１３１の表示に従ってキープ画像の選択を行う。
In step S43, the
キープ画像は、実際に編集する撮影画像である。キープ画像として選択可能な撮影画像の枚数は例えば４枚として設定されている。キープ画像の選択画面には、レタッチ処理が施された撮影画像が並べて表示される。選択画面を用いて行われる選択は、最大８枚の撮影画像の中から４枚の撮影画像を選択するようにして行われる。 The keep image is a photographed image that is actually edited. The number of captured images that can be selected as the keep image is set to, for example, four. On the keep image selection screen, the retouched captured images are displayed side by side. The selection made using the selection screen is made by selecting four captured images from a maximum of eight captured images.
４枚などの所定の枚数のキープ画像が選択された場合、ステップＳ４４において、表示制御部４３４は、編集画面をタブレット内蔵モニタ１３１に表示させる。編集画面には、編集対象となる撮影画像とともに、編集に用いられるスタンプ画像やペン画像などの各種の編集ツール（合成用画像）を選択するときに押下されるボタンなどが表示される。
When a predetermined number of keep images such as four images are selected, in step S44, the
図２９は、タブレット内蔵モニタ１３１に表示される編集画面の例を示す図である。
FIG. 29 is a diagram showing an example of an editing screen displayed on the tablet built-in
編集画面には、編集領域５０１Ｌ，５０１Ｒがそれぞれ左右に並べて設けられる。編集領域５０１Ｌ，５０１Ｒの間には、キープ画像として選択された撮影画像のサムネイルが表示されるサムネイル表示領域５０２が設けられる。
Editing
また、編集領域５０１Ｌ，５０１Ｒそれぞれの下方には、編集パレット５０３Ｌ，５０３Ｒが設けられる。編集パレット５０３Ｌ，５０３Ｒの間には、編集パレット５０３Ｌ，５０３Ｒに表示される編集ツールのカテゴリを選択するためのカテゴリ選択ボタン群５０４が設けられる。
Further, below each of the
このような構成により、編集画面においては、編集対象として選択された撮影画像の編集入力が２人の利用者によって個別に受け付けられる。 With such a configuration, on the editing screen, the editing input of the captured image selected as the editing target is individually accepted by the two users.
以下において、編集領域５０１Ｌ，５０１Ｒ、編集パレット５０３Ｌ，５０３Ｒをそれぞれ区別しない場合には、単に、編集領域５０１、編集パレット５０３という。
In the following, when the
編集領域５０１は、編集入力を行う対象として選択されたキープ画像（編集対象画像）の表示領域である。利用者は、タッチペン１３２を用いて編集ツールを選択し、編集領域５０１に表示されたキープ画像の編集を行う。 The editing area 501 is a display area of a keep image (editing target image) selected as a target for editing input. The user selects an editing tool using the touch pen 132 and edits the keep image displayed in the editing area 501.
サムネイル表示領域５０２は、キープ画像を表すサムネイルの表示領域である。利用者は、サムネイル表示領域５０２に表示されているサムネイルを選択することによって、編集入力を行うキープ画像を選択する。
The
編集パレット５０３は、ペンツール、くっつきツール、スタンプツール、メイクツールなどの各種の編集ツールの選択に用いられるアイコンなどが表示される領域である。なお、くっつきツールは、顔の認識結果に基づいた位置に所定の画像を合成するときに用いられる編集ツールである。また、メイクツールは、目、唇、頬などを対象として、メイクを模した画像処理を施すときに用いられる編集ツールである。 The editing palette 503 is an area in which icons used for selecting various editing tools such as a pen tool, a sticking tool, a stamp tool, and a makeup tool are displayed. The sticking tool is an editing tool used when synthesizing a predetermined image at a position based on a face recognition result. The make-up tool is an editing tool used when performing image processing imitating make-up on the eyes, lips, cheeks, and the like.
カテゴリ選択ボタン群５０４は、編集パレット５０３に表示させる編集ツールのカテゴリを切り替えるときに押下されるボタンから構成される。
The category
図２９の例においては、タブレット内蔵モニタ１３１に向かって左側の利用者によりカテゴリ選択ボタン群５０４のペンボタンが選択されている。編集パレット５０３Ｌには、ペンツールを選択するためのアイコンなどが表示される。
In the example of FIG. 29, the pen button of the category
また、右側の利用者によりカテゴリ選択ボタン群５０４のメイクボタンが選択されている。編集パレット５０３Ｒには、メイクツールを選択するためのボタンなどが表示される。
Further, the make button of the category
サムネイル表示領域５０２の下には、スマートフォンの外観を模した２つの携帯おまけボタン５０５Ｌ，５０５Ｒが並べて表示される。携帯おまけボタン５０５Ｌ，５０５Ｒが操作された場合、携帯おまけの作成を行うときに用いられるボタンなどが表示される。なお、携帯おまけは、携帯端末の待ち受け画面に表示されたり、SNSにアップロードされたりする画像など、携帯端末上で用いられることを前提とした画像である。作成された携帯おまけは、携帯端末への送信専用の画像として画像管理サーバに送信される。
Below the
サムネイル表示領域５０２の上にはBGM選択領域５０６が表示される。BGM選択領域５０６は、編集作業中のBGMの選曲や音量の調整を行うときに操作される。
The
図２７の説明に戻り、ステップＳ４５において、編集制御部４３３は、編集画面に対する利用者の操作に応じて、編集対象となる撮影画像に編集を施す。編集が施されることによって生成された編集画像は印刷データ生成部４３５に供給される。
Returning to the description of FIG. 27, in step S45, the
終了ボタンが操作されるなどして編集が終了した場合、ステップＳ４６において、表示制御部４３４は、分割数選択画面をタブレット内蔵モニタ１３１に表示させる。
When the editing is completed by operating the end button or the like, in step S46, the
分割数選択画面は、シールレイアウトの選択に用いられる画面である。シールレイアウトは、１枚のシール紙３６３に配置される編集画像の枚数や位置、大きさを決定するレイアウト（配置パターン）である。シール紙３６３には、利用者により選択されたシールレイアウトに従って配置された編集画像が印刷される。
The division number selection screen is a screen used for selecting the sticker layout. The sticker layout is a layout (arrangement pattern) that determines the number, position, and size of edited images arranged on one
ステップＳ４７において、表示制御部４３４は、送信画像選択画面をタブレット内蔵モニタ１３１に表示させる。
In step S47, the
利用者は、画像管理サービスを利用するためには会員登録を行う必要があり、会員には有料会員と無料会員がある。有料会員は画像管理サーバに送信された全ての画像を取得して自分の携帯端末にダウンロードしたりすることができるのに対して、無料会員は１枚の画像だけを取得することができる。送信画像選択画面は、無料会員が取得する１枚の画像を選択するのに用いられる画面である。なお、画像管理サービスは、ゲームにおいて作成され、写真シール作成装置１から画像管理サーバに送信された画像を利用者に提供するサービスである。
The user needs to register as a member in order to use the image management service, and the members include paid members and free members. Paid members can acquire all the images sent to the image management server and download them to their mobile terminals, while free members can acquire only one image. The transmission image selection screen is a screen used for selecting one image acquired by a free member. The image management service is a service that provides the user with an image created in the game and transmitted from the photo
ステップＳ４８において、編集処理部４０３は、メールアドレス入力画面をタブレット内蔵モニタ１３１に表示させる。
In step S48, the
メールアドレス入力画面は、利用者のメールアドレスの入力に用いられる画面である。メールアドレス入力画面には、メールアドレスに用いることが可能なアルファベットや記号、スマートフォンなどの携帯電話機のキャリアを選択するためのボタンなどが表示される。 The e-mail address input screen is a screen used for inputting a user's e-mail address. On the e-mail address input screen, alphabets and symbols that can be used for the e-mail address, buttons for selecting a carrier of a mobile phone such as a smartphone, and the like are displayed.
ステップＳ４９において、通信制御部４３６は、編集画像を画像管理サーバに送信する。画像管理サーバに対しては、適宜、撮影画像も送信される。すなわち、編集画像だけでなく、編集画像の元になった撮影画像も画像管理サーバに対して送信される。
In step S49, the
また、画像管理サーバに対しては、写真シール作成装置１の機器ID、撮影日時、送信画像選択画面からどの画像が選択されたのかを表す情報なども送信される。
Further, the device ID of the photo
ステップＳ５０において、印刷データ生成部４３５は、利用者により選択されたレイアウトで編集画像を配置することによって印刷データを生成する。印刷データは印刷処理部４０４に供給され、編集画像の印刷に用いられる（図２６のステップＳ４）。
In step S50, the print
ステップＳ５１において、表示制御部４３４は、案内画面をタブレット内蔵モニタ１３１に表示させることによって、編集作業を終えた利用者に対して、印刷待ち空間Ａ３への移動を案内する。印刷待ち空間Ａ３への移動の案内は、スピーカ３４１から音声を出力することによっても行われる。
In step S51, the
その後、図２６のステップＳ３に戻り、それ以降の処理が行われる。 After that, the process returns to step S3 of FIG. 26, and the subsequent processing is performed.
以上のように、写真シール作成装置１のゲームにおいては、撮影空間Ａ１だけでなく、編集空間Ａ２においても撮影を行うことが可能とされる。利用者は、編集空間Ａ２にいてゲームを行っている自分達の様子を自撮りによって残しておくことができる。
As described above, in the game of the photo
＜編集用画像生成処理＞
次に、図３０のフローチャートを参照して、図２７のステップＳ４２において行われる編集用画像生成処理について説明する。
<Image generation process for editing>
Next, the editing image generation process performed in step S42 of FIG. 27 will be described with reference to the flowchart of FIG.
ステップＳ６１において、性別判定部４５３は、撮影画像に写るそれぞれの利用者の性別を判定する。
In step S61, the
ステップＳ６２において、レタッチ処理部４５２は、撮影画像に対してレタッチ処理を施す。レタッチ処理部４５２によるレタッチ処理は、撮影処理時にタッチパネルモニタ９２に表示されたレタッチ画面を用いて選択された内容に従って行われる。
In step S62, the
例えば、レタッチ処理部４５２は、撮影画像に写る利用者の目を検出し、検出した目の大きさを調整する処理をそれぞれの撮影画像を対象として行う。レタッチ処理部４５２は、目の大きさの調整以外の複数種類の画像処理を、それぞれの撮影画像を対象として行う。
For example, the
ステップＳ６３において、領域検出部４５１は、撮影画像に写る利用者の目の領域を検出する。
In step S63, the
ステップＳ６４において、まつげ処理部４５４は、撮影画像に写っているまつげを強調する画像処理であるまつげ処理を行う。まつげ処理の詳細については図３１のフローチャートを参照して後述する。
In step S64, the
ステップＳ６５において、縮小部４５５は、まつげ処理部４５４から供給された撮影画像を縮小して編集用の撮影画像を生成する。
In step S65, the
ステップＳ６６において、編集用画像生成部４３２は、全ての撮影画像の処理が終わったか否かを判定し、まだ処理が終わっていない撮影画像があると判定した場合、ステップＳ６１以降の処理を繰り返し実行する。
In step S66, the editing
全ての撮影画像の処理が終わったとステップＳ６６において判定した場合、図２７のステップＳ４２に戻り、それ以降の処理が行われる。 If it is determined in step S66 that the processing of all the captured images has been completed, the process returns to step S42 in FIG. 27, and subsequent processing is performed.
＜まつげ処理＞
次に、図３１のフローチャートを参照して、図３０のステップＳ６４において行われるまつげ処理について説明する。
<Eyelash processing>
Next, the eyelash processing performed in step S64 of FIG. 30 will be described with reference to the flowchart of FIG. 31.
ステップＳ８１において、まつげ処理部４５４は、性別判定部４５３による性別の判定結果に基づいて、処理対象になっている撮影画像に女性が写っているか否かを判定する。
In step S81, the
上述したように、まつげを強調する画像処理であるまつげ処理は、女性だけを対象として行われ、男性を対象としては行われない。処理対象になっている撮影画像に女性が写っていない、すなわち、撮影画像に写っている利用者全員が男性であるとステップＳ８１において判定された場合、図３１のステップＳ８２以降の処理はスキップされる。 As described above, the eyelash processing, which is an image processing for emphasizing the eyelashes, is performed only for women, not for men. If it is determined in step S81 that no woman is shown in the captured image to be processed, that is, all the users in the captured image are men, the processes after step S82 in FIG. 31 are skipped. To.
これにより、男性のまつげを強調するような画像処理が行われるのを防ぐことが可能となる。 This makes it possible to prevent image processing that emphasizes male eyelashes from being performed.
ステップＳ８２以降の処理のうちの少なくとも一部の処理が、男性を対象として行われるようにしてもよい。 At least a part of the processes after step S82 may be performed for men.
処理対象になっている撮影画像に女性が写っているとステップＳ８１において判定された場合、処理はステップＳ８２に進む。複数の女性が写っている場合、１人ずつ注目してステップＳ８２以降の処理が行われる。 If it is determined in step S81 that a woman is shown in the captured image to be processed, the process proceeds to step S82. When a plurality of women are shown, the processes after step S82 are performed by paying attention to each woman.
ステップＳ８２において、逆さまつげ除去部４６１は、目の領域のうちの白目領域に含まれる異常画素を検出し、周辺画素で補間することによって逆さまつげを除去する。
In step S82, the upside-down
ステップＳ８３において、変形部４６２は、図２４を参照して説明したようにして、目の上側の輪郭の形状に合わせて、まつげ画像を変形させる。
In step S83, the deforming
ステップＳ８４において、合成部４６３は、変形部４６２により変形されたまつげ画像を、撮影画像に写る、処理対象の女性の目の上側の輪郭に沿って合成する。
In step S84, the
ここで、処理対象の女性の両方の目が開いている場合、両目に対してまつげ画像の合成が行われる。例えば、閾値となる度合いより目の開きの度合いが低い場合（閉じている場合）、まつげ画像の合成を含むまつげを強調する処理が、その閉じている目を対象としては行われないようにしてもよい。 Here, when both eyes of the woman to be processed are open, the eyelash image is synthesized for both eyes. For example, if the degree of eye opening is lower than the threshold (when the eye is closed), the process of emphasizing the eyelashes, including the composition of the eyelash image, should not be performed for the closed eye. May be good.
ウインクなどをして閉じている目を対象としてまつげの強調が行われるとした場合、不自然な見栄えになる可能性があるが、そのようなことを防ぐことが可能となる。 If the eyelashes are emphasized by winking the eyes that are closed, the appearance may be unnatural, but such a situation can be prevented.
ステップＳ８５において、まつげ強調処理部４６４は、まつげを画像処理によって強調させる。例えば、上まつげと下まつげを検出し、その１本１本を太くしたり、濃くしたりすることによって、まつげの強調が行われる。まつげの１本１本を太くしたり、濃くしたりする処理は、上まつげとして合成されたまつげ画像を構成するまつげの１本１本に対しても施される。
In step S85, the eyelash
すなわち、この例においては、上まつげに対しては、まつげ画像の合成に加えて、さらに、１本１本を太くしたりする処理が施されることになる。また、上まつげと下まつげは、それぞれ異なる処理によって強調されることになる。 That is, in this example, the upper eyelashes are further subjected to a process of thickening each eyelash in addition to the composition of the eyelash images. In addition, the upper eyelashes and the lower eyelashes will be emphasized by different treatments.
その後、図３０のステップＳ６４に戻り、それ以降の処理が行われる。 After that, the process returns to step S64 of FIG. 30 and the subsequent processing is performed.
以上のように、撮影画像に写る女性に対するまつげの強調は、テンプレートとして用意されたまつげ画像をそのまま合成するのではなく、目の輪郭の形状に合わせて変形させたまつげ画像を合成するようにして行われる。 As described above, the emphasis on the eyelashes for women in the captured image is not to combine the eyelash images prepared as a template as they are, but to combine the eyelash images deformed according to the shape of the contour of the eyes. Will be done.
撮影時の表情などにより、それぞれの利用者の目の形状は異なるものとなる。それぞれの利用者の目の形状に合わせて変形させたまつげ画像を合成することにより、より自然な形でまつげを強調させ、目を大きく見せることが可能となる。 The shape of each user's eyes will differ depending on the facial expression at the time of shooting. By synthesizing the eyelash images deformed according to the shape of each user's eyes, it is possible to emphasize the eyelashes in a more natural way and make the eyes look larger.
また、まつげ画像の合成後、上まつげと下まつげの１本１本を強調することにより、まつげ画像として合成されたまつげを、利用者の自分のまつげに馴染ませることが可能となる。 In addition, by emphasizing each of the upper eyelashes and the lower eyelashes after synthesizing the eyelash images, it is possible to blend the combined eyelashes as the eyelash image with the user's own eyelashes.
＜メイクツール機能＞
・アイカラーツール
ここで、編集画面に用意されるメイクツールを用いた編集について説明する。
<Makeup tool function>
-Eye color tool Here, editing using the make-up tool prepared on the edit screen will be described.
図３２は、メイクツール選択中の、図２９の編集パレット５０３Ｒを拡大して示す図である。
FIG. 32 is an enlarged view showing the
編集パレット５０３Ｒの上には、メイクツールの選択に用いられる選択ボタン５１１−１乃至５１１−５が並べて表示される。
On the
選択ボタン５１１−１は、小顔に見えるためのメイクを行う小顔ツールを選択するときに押下されるボタンである。 The selection button 511-1 is a button that is pressed when selecting a small face tool for making a small face to look like a small face.
選択ボタン５１１−２は、黒目部分の色を変えるアイカラーツールを選択するときに押下されるボタンである。利用者は、アイカラーツールを使うことにより、カラーコンタクトレンズを装着しているかのようなメイクをすることができる。図３２の例においては、選択ボタン５１１−２が押下され、アイカラーツールが選択されている。 The selection button 511-2 is a button that is pressed when selecting an eye color tool that changes the color of the black eye portion. By using the eye color tool, the user can make up as if he / she is wearing colored contact lenses. In the example of FIG. 32, the selection button 511-2 is pressed and the eye color tool is selected.
選択ボタン５１１−３は、目の輪郭の濃さを調整する輪郭濃度調整ツールを選択するときに押下されるボタンである。 The selection button 511-3 is a button pressed when selecting a contour density adjusting tool for adjusting the density of the contour of the eye.
選択ボタン５１１−４は、唇の色を変えるリップツールを選択するときに押下されるボタンである。選択ボタン５１１−５は、チークの色を変えるチークツールを選択するときに押下されるボタンである。 The selection button 511-4 is a button pressed when selecting a lip tool that changes the color of the lips. The selection button 511-5 is a button that is pressed when selecting a cheek tool that changes the color of the cheek.
アイカラーツールが選択されている場合、図３２に示すように、編集パレット５０３Ｒの左側には顔画像領域５１２が表示される。顔画像領域５１２は、顔認識を行うことによって切り出された、撮影画像に写る利用者の顔の画像の表示領域である。
When the eye color tool is selected, the
顔画像領域５１２に顔が表示されている利用者を対象として、黒目の色を変更する処理である黒目処理が黒目処理部４３３Ａ（図１９）により行われる。図３２の例においては、図２９において編集領域５０１Ｒに表示されている撮影画像に写る２人の利用者のうちの右側の利用者がアイカラーツールの対象の利用者として表示されている。
The black
顔画像領域５１２の下には、アイカラーツールの対象とする利用者を切り替えるときに押下される切り替えボタン５１３が表示される。
Below the
顔画像領域５１２の右側には、アイカラーの選択に用いられるボタンであるカラー選択ボタン５１４−１乃至５１４−４が表示される。円形のボタンであるカラー選択ボタン５１４−１乃至５１４−４には、それぞれ、ブラウン、ショコラ、グレー、ブラックの色が割り当てられている。
On the right side of the
例えばカラー選択ボタン５１４−１が押下された場合、編集領域５０１Ｒに表示されている撮影画像に写る利用者のうち、アイカラーツールの対象として選択されている利用者の黒目領域の色がブラウンに変更される。
For example, when the color selection button 514-1 is pressed, the color of the black eye area of the user selected as the target of the eye color tool among the users reflected in the captured image displayed in the
また、カラー選択ボタン５１４−２が押下された場合、編集領域５０１Ｒに表示されている撮影画像に写る利用者のうち、アイカラーツールの対象として選択されている利用者の黒目領域の色がショコラに変更される。
When the color selection button 514-2 is pressed, the color of the black eye area of the user selected as the target of the eye color tool among the users reflected in the captured image displayed in the
図３３は、アイカラーツールによって生成される画像の例を示す図である。 FIG. 33 is a diagram showing an example of an image generated by the eye color tool.
撮影画像Ｐ１０１が編集対象として選択され、右側の利用者がアイカラーツールの対象として選択されている場合、カラー選択ボタン５１４−１乃至５１４−４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、枠Ｆで囲んで示す右側の利用者の黒目領域の色が変更された撮影画像Ｐ１０１−１乃至Ｐ１０１−４に切り替えられる。
When the captured image P101 is selected as the editing target and the user on the right side is selected as the target of the eye color tool, the color selection buttons 514-1 to 514-4 are pressed, and the
図３３の例においては同じ画像として示されているが、撮影画像Ｐ１０１−１は、右側の利用者の黒目領域の色がブラウンに変更された画像であり、撮影画像Ｐ１０１−２は、右側の利用者の黒目領域の色がショコラに変更された画像である。撮影画像Ｐ１０１−３は、右側の利用者の黒目領域の色がグレーに変更された画像であり、撮影画像Ｐ１０１−４は、右側の利用者の黒目領域の色がブラックに変更された画像である。 In the example of FIG. 33, the same image is shown, but the captured image P101-1 is an image in which the color of the black eye region of the user on the right side is changed to brown, and the captured image P101-2 is the image on the right side. This is an image in which the color of the user's black eye area is changed to chocolate. The photographed image P101-3 is an image in which the color of the black eye area of the user on the right side is changed to gray, and the photographed image P101-4 is an image in which the color of the black eye area of the user on the right side is changed to black. is there.
切り替えボタン５１３が押下される毎に、左側に写る利用者、右側に写る利用者、２人の利用者の順に、アイカラーツールの対象とする利用者が切り替えられる。
Each time the
例えば、アイカラーツールの対象とする利用者が左側に写る利用者として選択されている場合、カラー選択ボタン５１４−１乃至５１４−４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、左側の利用者の黒目領域の色が変更された撮影画像に切り替えられる。
For example, when the target user of the eye color tool is selected as the user to be reflected on the left side, the captured image in the
また、アイカラーツールの対象とする利用者が全員である２人の利用者として選択されている場合、カラー選択ボタン５１４−１乃至５１４−４が押下されることに応じて、編集領域５０１Ｒの撮影画像が、左側と右側の２人の利用者の黒目領域の色が変更された撮影画像に切り替えられる。
Further, when the target users of the eye color tool are selected as two users who are all, the color selection buttons 514-1 to 514-4 are pressed, and the
このように、アイカラーツールを利用することにより、利用者は、１枚の撮影画像毎に、かつ、撮影画像に写っている利用者毎に、黒目の色を変えることができる。また、利用者は、２人の利用者の目の色を同時に変えることもできる。 In this way, by using the eye color tool, the user can change the color of the black eye for each photographed image and for each user reflected in the photographed image. The user can also change the eye color of the two users at the same time.
図３２のカラー選択ボタン５１４−４の右下には、アイカラーツールの機能をオフにするときに押下されるオフボタン５１５が表示される。オフボタン５１５が押下された場合、編集領域５０１Ｒには、黒目処理が施されていない撮影画像が表示される。
At the lower right of the color selection button 514-4 of FIG. 32, an off
図３４は、アイカラーツール選択時の画像処理に用いられるマスク画像の例を示す図である。 FIG. 34 is a diagram showing an example of a mask image used for image processing when the eye color tool is selected.
編集用の撮影画像の生成時、図３４Ａに示す撮影画像Ｐ１０１に基づいて、図３４Ｂに示すような、目の各領域を表すマスク画像が生成される。上述したように、編集用の撮影画像の生成時、編集用画像生成部４３２の領域検出部４５１（図２０）においては、機械学習により生成された予測モデルを用いて、目の各領域などを表すマスク画像Ｍが生成される。
At the time of generating the photographed image for editing, a mask image representing each region of the eye as shown in FIG. 34B is generated based on the photographed image P101 shown in FIG. 34A. As described above, when the captured image for editing is generated, the area detection unit 451 (FIG. 20) of the editing
図３４Ｂの例においては、マスク画像Ｍを構成する画素のうち、２人の利用者のそれぞれの目の輪郭、目の黒目の輪郭、およびまつげを表す画素が白色の画素によって表されている。このようなマスク画像Ｍを用いて、黒目処理部４３３Ａにより黒目処理が行われる。
In the example of FIG. 34B, among the pixels constituting the mask image M, the contours of the eyes of the two users, the contours of the black eyes of the eyes, and the pixels representing the eyelashes are represented by white pixels. Using such a mask image M, black eye processing is performed by the black
図３５は、黒目領域の色の変更の例を示す図である。 FIG. 35 is a diagram showing an example of changing the color of the black eye region.
アイカラーツールによって黒目の色を変更することが選択された場合、黒目処理部４３３Ａは、マスク画像Ｍを用いて、アイカラーツールの対象とする利用者の黒目領域を抽出する。図３５の上段の例においては、右目ＥRの黒目領域Ａ１１Rと、左目ＥLの黒目領域Ａ１１Lがマスク画像Ｍに基づいて抽出されている。
When it is selected to change the color of the black eye by the eye color tool, the black
また、黒目処理部４３３Ａは、抽出した黒目領域である黒目領域Ａ１１R，Ａ１１Lを構成する画素の色を、ブラウン、ショコラ、グレー、ブラックの中から利用者により選択された色に変更する。図３５の下段において黒目領域Ａ１１R，Ａ１１Lにハッチを付して示していることは、黒目領域Ａ１１R，Ａ１１Lの画素の色が変更されていることを表す。
Further, the black
黒目領域を構成する画素の色の変更は、例えば、オリジナルの色の色相を、選択された色に応じた量だけ変更するようにして行われる。ブラウン、ショコラ、グレー、ブラックのそれぞれの色に対しては、変更の程度（量）を含む、色相の変更の仕方があらかじめ設定されている。 The color of the pixels constituting the black eye region is changed, for example, by changing the hue of the original color by an amount corresponding to the selected color. For each of the brown, chocolate, gray, and black colors, the method of changing the hue, including the degree (amount) of the change, is preset.
すなわち、選択された色に変更するのではなく、オリジナルの黒目の色を基準にして、その基準の色を、選択された色に応じて調整するようにして色の変更が行われる。 That is, instead of changing to the selected color, the color is changed by adjusting the reference color according to the selected color based on the original black eye color.
色相ではなく、明度、彩度などの他のパラメータを変更することによって、または、複数のパラメータの組み合わせを変更することによって、黒目領域の色が変更されるようにしてもよい。 The color of the black eye region may be changed by changing other parameters such as lightness and saturation instead of hue, or by changing the combination of a plurality of parameters.
黒目領域を構成する各画素に対してフィルタ処理を施したり、所定のトーンカーブを用いて輝度を調整したりするようにして色の変更が行われるようにしてもよい。 The color may be changed by applying a filter process to each pixel constituting the black eye region or adjusting the brightness by using a predetermined tone curve.
このように、黒目領域の色の変更は、黒目領域の形状と同じ形状を有する略円形の画像を撮影画像の上に合成するのではなく、撮影画像の画素の色自体を変更するようにして行われる。また、人ごとに微妙に異なるオリジナルの色を元にして、オリジナルの色を変更するようにして黒目領域の色の変更が行われる。 In this way, changing the color of the black eye region does not combine a substantially circular image having the same shape as the black eye region on the captured image, but changes the pixel color itself of the captured image. Will be done. In addition, the color of the black eye region is changed by changing the original color based on the original color that is slightly different for each person.
ブラウン、ショコラ、グレー、ブラックの中から同じ色を選択したとしても人ごとに微妙に異なる色となるため、黒目領域の印象を、違和感なく、自然な見映えがする状態で変更することが可能となる。 Even if the same color is selected from brown, chocolate, gray, and black, the color will be slightly different for each person, so it is possible to change the impression of the black eye area in a state that looks natural without discomfort. It becomes.
仮に、所定の色の円形の画像を黒目領域に合成する形で黒目領域の色の変更が行われるとした場合、人によっては、黒目領域の色が大きく変わってしまったり、目の向きやストロボ光の当たり方などに応じた見え方の違いが損なわれてしまったりすることがあるが、そのような不自然な色の変更が行われるのを防ぐことが可能となる。 If the color of the black eye area is changed by synthesizing a circular image of a predetermined color with the black eye area, the color of the black eye area may change significantly depending on the person, or the direction of the eyes or the strobe. The difference in appearance depending on how the light hits may be impaired, but it is possible to prevent such an unnatural color change.
・輪郭濃度調整ツール
次に、輪郭濃度調整ツールを用いて行われる目の輪郭の濃さの調整について説明する。
-Contour density adjustment tool Next, the adjustment of the contour density of the eyes performed using the contour density adjustment tool will be described.
選択ボタン５１１−３が押下された場合、編集パレット５０３Ｒには、例えば、目の輪郭の濃さの調整に用いられるスライドバーが表示される。編集パレット５０３Ｒの左側には顔画像領域５１２が表示される。
When the selection button 511-3 is pressed, the
顔画像領域５１２に顔が表示されている利用者を対象として、目の輪郭の濃さを変更する処理である輪郭濃度調整処理が輪郭調整部４３３Ｂ（図１９）により行われる。輪郭濃度調整処理も、領域検出部４５１により生成されたマスク画像Ｍを用いて行われる。
For the user whose face is displayed in the
図３６は、目の輪郭の濃さの調整の例を示す図である。 FIG. 36 is a diagram showing an example of adjusting the density of the contour of the eye.
目の輪郭を濃くすることが輪郭濃度調整ツールによって選択された場合、輪郭調整部４３３Ｂは、目の輪郭、目の黒目の輪郭、および、まつげを、マスク画像Ｍを用いて抽出する。
When darkening the contour of the eye is selected by the contour density adjusting tool, the
また、輪郭調整部４３３Ｂは、抽出したそれぞれの部分が濃くなるように、画素の色を調整する。例えば、抽出したそれぞれの部分を太くすることによって、または、色を濃くすることによって、目の輪郭、目の黒目の輪郭、および、まつげの調整が行われる。図３６の下段の例においては、目の輪郭、目の黒目の輪郭（左右の縁）、および、まつげが、図３６の上段の状態より濃い状態で示されている。
Further, the
図３７は、目の輪郭の濃さの調整の他の例を示す図である。 FIG. 37 is a diagram showing another example of adjusting the density of the contour of the eye.
目の輪郭を薄くすることが輪郭濃度調整ツールによって選択された場合、輪郭調整部４３３Ｂは、目の輪郭、目の黒目の輪郭、および、まつげを、マスク画像Ｍを用いて抽出する。
When thinning the contour of the eye is selected by the contour density adjusting tool, the
また、輪郭調整部４３３Ｂは、抽出したそれぞれの部分が薄くなるように、画素の色を調整する。例えば、抽出したそれぞれの部分を細くすることによって、または、色を薄くすることによって、目の輪郭、目の黒目の輪郭、および、まつげの調整が行われる。
Further, the
このように、目の輪郭の調整は、マスク画像Ｍに基づいて、目の輪郭、目の黒目の輪郭、および、まつげを一体として調整するようにして行われる。スライドバーが複数表示され、目の輪郭、目の黒目の輪郭、および、まつげの濃さのそれぞれを調整することができるようにしてもよい。 In this way, the eye contour is adjusted by adjusting the eye contour, the black eye contour of the eye, and the eyelashes as a unit based on the mask image M. A plurality of slide bars may be displayed so that the contours of the eyes, the contours of the black eyes, and the darkness of the eyelashes can be adjusted.
このような輪郭濃度調整処理が、輪郭濃度調整ツールの対象とする利用者を選択して行われる。 Such contour density adjustment processing is performed by selecting a user to be the target of the contour density adjustment tool.
例えば、図３２を参照して説明したように、輪郭濃度調整ツールの対象とする利用者が右側に写る利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、右側の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。
For example, as described with reference to FIG. 32, when the target user of the contour density adjustment tool is selected as the user to be reflected on the right side, the
同様に、輪郭濃度調整ツールの対象とする利用者が左側に写る利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、左側の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。
Similarly, when the target user of the contour density adjustment tool is selected as the user to be reflected on the left side, the captured image of the
また、輪郭濃度調整ツールの対象とする利用者が２人の利用者として選択されている場合、スライドバーが操作されることに応じて、編集領域５０１Ｒの撮影画像が、左側と右側の２人の利用者の目の輪郭の濃さが変更された撮影画像に切り替えられる。
Further, when the target users of the contour density adjustment tool are selected as two users, the captured images of the
このように、輪郭濃度調整ツールを利用することにより、利用者は、１枚の撮影画像毎に、かつ、撮影画像に写っている利用者毎に、目の輪郭の濃さを変えることができる。また、利用者は、２人の利用者の目の輪郭の濃さを同時に変えることもできる。 In this way, by using the contour density adjustment tool, the user can change the density of the contour of the eyes for each photographed image and for each user reflected in the photographed image. .. The user can also change the density of the contours of the eyes of the two users at the same time.
アイカラーツールと輪郭濃度調整ツールを合わせて利用することにより、利用者は、黒目の色については利用者毎に個別に調整し、目の輪郭などの濃さについては２人まとめて調整するといったことが可能となる。また、利用者は、黒目の色については２人まとめて調整し、目の輪郭などの濃さについては利用者毎に個別に調整するといったことが可能となる。 By using the eye color tool and the contour density adjustment tool together, the user adjusts the color of the black eyes individually for each user, and adjusts the darkness of the contours of the eyes together. It becomes possible. In addition, it is possible for two users to adjust the color of the black eyes together and to adjust the darkness of the contours of the eyes individually for each user.
＜変形例＞
・他のメイクツールの例
メイクツールとして用意されるリップツール、チークツールを用いた処理が、アイカラーツールと同様にして行われるようにしてもよい。
<Modification example>
-Examples of other make-up tools Processing using the lip tool and cheek tool prepared as make-up tools may be performed in the same way as the eye color tool.
例えば選択ボタン５１１−４が押下され、リップツールが選択された場合、リップツールの対象として選択された利用者の唇の色が、編集パレット５０３Ｒに表示されたボタンを用いて選択された色に応じて変更される。マスク画像を用いて抽出された唇領域を構成する画素の色の変更が、オリジナルの唇の色を基準にして、その基準の色を、選択された色に応じて調整するようにして行われる。
For example, when the selection button 511-4 is pressed and the lip tool is selected, the color of the lips of the user selected as the target of the lip tool becomes the color selected using the button displayed on the
・出力先に応じた処理の切り替え
アイカラーツールによって色が変更される黒目領域は、画像全体に対して狭い領域である。仮に、黒目領域の色を変更した複数枚の画像を並べてシール紙に印刷した場合、それぞれの画像に写る黒目が小さいために、レイアウトによっては、黒目領域の色の違いを表現できないことがある。また、黒目全体が不自然な色に見えてしまうことがある。
-Switching processing according to the output destination The black eye area whose color is changed by the eye color tool is a narrow area with respect to the entire image. If a plurality of images in which the color of the black eye area is changed are printed side by side on a sticker paper, the difference in color of the black eye area may not be expressed depending on the layout because the black eyes appearing in each image are small. Also, the entire black eye may appear unnatural.
アイカラーツールによる黒目領域の色の変更が、編集画面に表示する画像には反映され、シール紙に印刷する画像には反映されないようにしてもよい。この場合、それぞれの撮影画像を対象として、編集画面に表示する画像を生成するための処理と、シール紙に印刷する画像を生成するための処理とが、利用者の操作に応じて行われることになる。 The change in the color of the black eye area by the eye color tool may be reflected in the image displayed on the editing screen and not reflected in the image printed on the sticker paper. In this case, for each photographed image, the process for generating the image to be displayed on the edit screen and the process for generating the image to be printed on the sticker paper are performed according to the operation of the user. become.
すなわち、撮影画像Ｐ１０１が編集対象として選択されている場合において、アイカラーツールによる黒目領域の色の変更が利用者により指示された場合、黒目領域の色を変更した撮影画像Ｐ１０１が、編集画面に表示する画像として生成されるとともに、黒目領域の色を変更していない撮影画像Ｐ１０１が、シール紙に印刷する画像として生成される。 That is, when the captured image P101 is selected as the editing target and the user instructs the user to change the color of the black eye region by the eye color tool, the captured image P101 having the color of the black eye region changed is displayed on the editing screen. The photographed image P101 in which the color of the black eye region is not changed is generated as an image to be displayed and is generated as an image to be printed on the sticker paper.
これにより、画像の出力先に応じて適切な画像を生成することができ、不自然な見え方の画像がシール紙に印刷されてしまうといったことを防ぐことが可能となる。 As a result, an appropriate image can be generated according to the output destination of the image, and it is possible to prevent an image having an unnatural appearance from being printed on the sticker paper.
なお、黒目領域の色を変更した状態で編集画面に表示された撮影画像Ｐ１０１に対しては、各種の編集ツールを用いた編集が利用者の操作に応じて施される。編集については施され、黒目領域の色については変更されていない画像がシール紙には印刷されることになる。 The captured image P101 displayed on the editing screen with the color of the black eye region changed is edited by various editing tools according to the user's operation. An image that has been edited and the color of the black eye area has not been changed will be printed on the sticker paper.
画像の出力先が編集画面（タブレット内蔵モニタ１３１）またはシール紙であるものとしたが、他の出力先に応じて処理が切り替えられるようにしてもよい。出力先には、タッチパネルモニタ９２などの写真シール作成装置１に設けられる構成だけでなく、利用者のスマートフォンのモニタ、画像管理サーバが含まれる。
Although the output destination of the image is assumed to be the editing screen (tablet built-in monitor 131) or sticker paper, the processing may be switched according to another output destination. The output destination includes not only the configuration provided in the photo
なお、画像の印刷媒体がシール紙である場合について説明したが、印刷用紙、樹脂製のカード、布などの各種の媒体がシール紙に代えて用いられるようにしてもよい。 Although the case where the image printing medium is the sticker paper has been described, various media such as the printing paper, the resin card, and the cloth may be used instead of the sticker paper.
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
-About the program The series of processes described above can be executed by hardware or software. When a series of processes are executed by software, the programs constituting the software are installed on a computer embedded in dedicated hardware, a general-purpose personal computer, or the like.
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１６に示されるリムーバブルメディア３１９に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３１２や記憶部３１６に、あらかじめインストールしておくことができる。
The installed program is provided by being recorded on a
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。 The effects described herein are merely exemplary and not limited, and may have other effects.
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。 For example, the present technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。 Further, each step described in the above-mentioned flowchart can be executed by one device or can be shared and executed by a plurality of devices.
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。 Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
１ 写真シール作成装置， ６６ 鏡面部， ８２ 上ストロボユニット， ９１ カメラ， ９２ タッチパネルモニタ， １３１ タブレット内蔵モニタ， ３０１ PC部， ３０２ 事前選択部， ３０４ 撮影部， ３０５ 編集部， ３０６ 印刷部， ４０１ 事前選択処理部， ４０２ 撮影処理部， ４０３ 編集処理部， ４０４ 印刷処理部， ４１１ 撮影制御部， ４１２ 画像処理部， ４１３ 表示制御部， ４１４ 画像記憶部， ４３１ 選択受付部， ４３２ 編集用画像生成部， ４３３ 編集制御部， ４３４ 表示制御部， ４３５ 印刷データ生成部， ４３６ 通信制御部， ４５１ 領域検出部， ４５２ レタッチ処理部， ４５３ 性別判定部， ４５４ まつげ処理部， ４５５ 縮小部 1 Photo sticker making device, 66 Mirror surface unit, 82 Upper strobe unit, 91 Camera, 92 Touch panel monitor, 131 Tablet built-in monitor, 301 PC unit, 302 Preselection unit, 304 Imaging unit, 305 Editing department, 306 Printing unit, 401 Advance Selection processing unit, 402 Shooting processing unit, 403 Editing processing unit, 404 Printing processing unit, 411 Shooting control unit, 412 Image processing unit, 413 Display control unit, 414 Image storage unit, 431 Selection reception unit, 432 Editing image generation unit , 433 edit control unit, 434 display control unit, 435 print data generation unit, 436 communication control unit, 451 area detection unit, 452 retouch processing unit, 453 gender determination unit, 454 eyelid processing unit, 455 reduction unit.
Claims (11)
まつげを表す画像であるまつげ画像を、検出した目の輪郭の形状に合わせて変形させる変形部と、
変形後の前記まつげ画像を目の輪郭に沿って合成する合成部と
を備える画像処理装置。 A detection unit that detects the user's eyes in the captured image obtained by shooting the user as a subject, and
A deformed part that deforms the eyelash image, which is an image representing the eyelashes, according to the shape of the detected eye contour.
An image processing device including a compositing unit that synthesizes the deformed eyelash image along the contour of the eye.
前記変形部は、検出した目の上側の輪郭の形状に合わせて前記まつげ画像を変形し、
前記合成部は、変形後の前記まつげ画像を目の上側の輪郭に沿って合成する
請求項１に記載の画像処理装置。 The eyelash image is an image showing the upper eyelash,
The deformed portion deforms the eyelash image according to the shape of the detected contour on the upper side of the eye.
The image processing apparatus according to claim 1, wherein the compositing unit synthesizes the deformed eyelash image along the contour of the upper side of the eye.
請求項１または２に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2, further comprising an upside-down thorn removing unit that detects an upside-down thorn and removes it by image processing.
請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the upside-down thorn removal unit removes upside-down thorns by interpolating pixels of a color other than white included in the white eye region with peripheral pixels.
請求項３または４に記載の画像処理装置。 The image processing apparatus according to claim 3 or 4, wherein the compositing unit synthesizes the deformed eyelash image after the upside-down eyelashes are removed.
請求項１乃至５のいずれかに記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 5, further comprising an emphasizing processing unit that emphasizes at least one of the upper and lower eyelashes by image processing.
前記合成部は、前記まつげ画像の合成を、女性の目を対象として行い、男性の目を対象としては行わない
請求項１乃至６のいずれかに記載の画像処理装置。 A determination unit for determining the gender of the user reflected in the captured image is further provided.
The image processing apparatus according to any one of claims 1 to 6, wherein the synthesizing unit synthesizes the eyelash image for female eyes and not for male eyes.
前記利用者による操作に応じて、前記編集用の画像に対して編集を施す編集処理部と
をさらに備える請求項１乃至７のいずれかに記載の画像処理装置。 An editing image generation unit that reduces the captured image after synthesizing the eyelash images and generates an image for editing.
The image processing apparatus according to any one of claims 1 to 7, further comprising an editing processing unit that edits the image for editing in response to an operation by the user.
前記変形部は、前記まつげ画像を、それぞれの前記利用者の目の輪郭の形状に合わせて変形させ、
前記合成部は、前記撮影画像に写る複数の前記利用者の全員を対象として、変形後の前記まつげ画像の合成を行う
請求項１乃至８のいずれかに記載の画像処理装置。 The detection unit detects each eye of the plurality of users reflected in the captured image, and detects the eyes of the plurality of users.
The deformed portion deforms the eyelash image according to the shape of the contour of each user's eyes.
The image processing apparatus according to any one of claims 1 to 8, wherein the compositing unit synthesizes the deformed eyelash image for all of the plurality of users appearing in the captured image.
利用者を被写体として撮影して得られた撮影画像に写る前記利用者の目を検出し、
まつげを表す画像であるまつげ画像を、検出した目の輪郭の形状に合わせて変形させ、
変形後の前記まつげ画像を目の輪郭に沿って合成する
画像処理方法。 The image processing device
Detecting the user's eyes in the captured image obtained by shooting the user as a subject,
The eyelash image, which is an image representing the eyelashes, is deformed according to the shape of the detected eye contour.
An image processing method for synthesizing the deformed eyelash image along the contour of the eye.
利用者を被写体として撮影して得られた撮影画像に写る前記利用者の目を検出し、
まつげを表す画像であるまつげ画像を、検出した目の輪郭の形状に合わせて変形させ、
変形後の前記まつげ画像を目の輪郭に沿って合成する
処理を実行させるためのプログラム。 On the computer
Detecting the user's eyes in the captured image obtained by shooting the user as a subject,
The eyelash image, which is an image representing the eyelashes, is deformed according to the shape of the detected eye contour.
A program for executing a process of synthesizing the deformed eyelash image along the contour of the eye.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019161940A JP2021039654A (en) | 2019-09-05 | 2019-09-05 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019161940A JP2021039654A (en) | 2019-09-05 | 2019-09-05 | Image processing device, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021039654A true JP2021039654A (en) | 2021-03-11 |
Family
ID=74846835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019161940A Pending JP2021039654A (en) | 2019-09-05 | 2019-09-05 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021039654A (en) |
-
2019
- 2019-09-05 JP JP2019161940A patent/JP2021039654A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5748651B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2023164461A (en) | Image processing apparatus, image processing method, and program | |
| JP2017121044A (en) | Photo seal producing apparatus and image processing method | |
| JP5825542B1 (en) | Photo sticker creation apparatus and display method | |
| JP7152687B2 (en) | Display control device, display control method, program | |
| JP6477780B2 (en) | Photo sticker creation apparatus, photo sticker creation method, and photo sticker creation processing program | |
| JP7401727B2 (en) | Image processing device, image processing method, and image processing program | |
| JP7140962B2 (en) | Image processing device, control method, and program | |
| JP2021039654A (en) | Image processing device, image processing method, and program | |
| JP7132492B2 (en) | Image processing device, display control method, and program | |
| JP2018107515A (en) | Photograph formation game machine and image processing method | |
| JP2021043797A (en) | Image processing device, image processing method, and image processing program | |
| JP7074994B2 (en) | Photographing game console and image processing method | |
| JP2020144780A (en) | Image processing device, image processing method, and image processing program | |
| JP2021044734A (en) | Image processing device, image processing method, and program | |
| JP6303561B2 (en) | Image processing apparatus and photographing method | |
| JP6465333B2 (en) | Image processing apparatus and image processing method | |
| JP6421969B2 (en) | Image processing apparatus and control method | |
| JP5970013B2 (en) | Photo sticker making apparatus and photo sticker making method | |
| JP7319535B2 (en) | Photo-making game machine, control method, and program | |
| JP6982230B2 (en) | Photographing game console and image processing method | |
| JP7290826B2 (en) | Image processing device, image processing method, and program | |
| JP7319534B2 (en) | camera | |
| JP6376421B1 (en) | Photo creation game machine, display method, and program | |
| JP2024064430A (en) | Photo creation game machine, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220902 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240319 |