JP2022061920A - Photographing device, image forming method, image forming program, and photographing system - Google Patents

Photographing device, image forming method, image forming program, and photographing system Download PDF

Info

Publication number
JP2022061920A
JP2022061920A JP2020170189A JP2020170189A JP2022061920A JP 2022061920 A JP2022061920 A JP 2022061920A JP 2020170189 A JP2020170189 A JP 2020170189A JP 2020170189 A JP2020170189 A JP 2020170189A JP 2022061920 A JP2022061920 A JP 2022061920A
Authority
JP
Japan
Prior art keywords
image data
image
moving
acquired
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020170189A
Other languages
Japanese (ja)
Inventor
竜介 中西
Ryusuke Nakanishi
泰生 梶本
Yasuo Kajimoto
忠 野間
Tadashi Noma
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tatsumi Denshi Kogyo KK
Original Assignee
Tatsumi Denshi Kogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tatsumi Denshi Kogyo KK filed Critical Tatsumi Denshi Kogyo KK
Priority to JP2020170189A priority Critical patent/JP2022061920A/en
Publication of JP2022061920A publication Critical patent/JP2022061920A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide a photographing device and a photographing system that can provide high-quality moving images.SOLUTION: A photographing device comprises: a moving image photographing unit that acquires data for moving images including at least one of first image data and second image data; a still image photographing unit that acquires data for a still image; and an image processing unit that creates edited moving images. When the first image data is included in the data for moving images, the moving image photographing unit acquires the first image data before the acquisition of the data for a still image, and when the second data is included in the data for moving images, acquires the second data after the acquisition of the data for a still image. The image processing unit acquires special image data that is generated based on at least either one of the data for a still image, the first image data, or the second image data, and displays the edited moving images that are played back in the order of the first image data, special image data, and second image data, the order of first image data and special image data, or the order of the special image data and second image data.SELECTED DRAWING: Figure 12

Description

本発明は、撮影装置、画像形成方法、画像形成プログラム、及び撮影システムに関する。 The present invention relates to an imaging device, an image forming method, an image forming program, and an imaging system.

従来、ユーザをカメラで撮影することで得られた撮影画像を写真印刷シートとして出力したり、電子データとして、撮影画像をネットワークを介して外部の装置に送信したりすることができる遊戯用撮影装置が知られている。ところで、例えば、特許文献1に記載の近年の遊戯用撮影装置は、遊戯性を高めるため、電子データとして、静止画のみならず、動画を提供するように構成されている。 Conventionally, a game shooting device capable of outputting a shot image obtained by shooting a user with a camera as a photo print sheet or transmitting the shot image as electronic data to an external device via a network. It has been known. By the way, for example, the recent game-shooting apparatus described in Patent Document 1 is configured to provide not only still images but also moving images as electronic data in order to enhance playability.

特開2019-038344号公報Japanese Unexamined Patent Publication No. 2019-038344

しかしながら、特許文献1の遊戯層撮影装置で提供される動画には改良の余地があり、さらに質の高い動画の提供が要望されていた。本発明は、上記問題を解決するためになされたものであり、さらに質の高い動画を提供することができる撮影装置、画像形成方法、画像形成プログラム、及び撮影システムを提供することを目的とする。 However, there is room for improvement in the moving image provided by the play layer photographing apparatus of Patent Document 1, and it has been requested to provide a higher quality moving image. The present invention has been made to solve the above problems, and an object of the present invention is to provide a photographing device, an image forming method, an image forming program, and a photographing system capable of providing a higher quality moving image. ..

本発明に係る撮影装置は、第1画像データ及び第2画像データの少なくとも一方を含む動画像用データを取得する動画像撮影部と、静止画像用データを取得する静止画像撮影部と、編集動画像を生成する画像処理部と、を備え、前記動画像撮影部は、前記動画像用データに第1画像データが含まれる場合、前記静止画像用データの取得前に前記第1画像データを取得し、前記動画像用データに第2画像データが含まれる場合、前記静止画像用データの取得後に前記第2画像データを取得し、前記画像処理部は、前記静止画像用データ、前記第1画像データ、または前記第2画像データの少なくとも1つに基づいて生成される、特別画像データを取得し、前記第1画像データ、前記特別画像データ、及び前記第2画像データの順、前記第1画像データ、及び前記特別画像データの順、又は前記特別画像データ、及び前記第2画像データの順で再生される前記編集動画像の少なくとも一部を表示させる。 The photographing apparatus according to the present invention includes a moving image photographing unit for acquiring moving image data including at least one of a first image data and a second image data, a still image photographing unit for acquiring still image data, and an edited moving image. The moving image photographing unit includes an image processing unit for generating an image, and when the moving image data includes the first image data, the moving image photographing unit acquires the first image data before acquiring the still image data. When the moving image data includes the second image data, the second image data is acquired after the still image data is acquired, and the image processing unit acquires the still image data and the first image. The special image data generated based on the data or at least one of the second image data is acquired, and the first image data, the special image data, and the second image data are in this order, the first image. At least a part of the edited moving image to be reproduced in the order of the data and the special image data, or the special image data and the second image data is displayed.

本発明に係る画像生成方法は、動画像用の第1画像データ及び第2画像データの少なくとも1つと、静止画像用データとを取得するステップであって、前記第1画像データが取得される場合には、前記第1画像データの取得後に、前記静止画像用データを取得し、前記第2画像データが取得される場合には、前記静止画像用データの取得後に、前記第2画像データを取得するステップと、前記静止画像用データ、前記第1画像データ、または前記第2画像データの少なくとも1つに基づいて生成される、特別画像データを取得するステップと、前記第1画像データ、前記特別画像データ、及び前記第2画像データの順、前記第1画像データ、及び前記特別画像データの順、又は前記特別画像データ、及び前記第2画像データの順で再生される前記動画像を生成するステップと、を備えている。 The image generation method according to the present invention is a step of acquiring at least one of a first image data and a second image data for a moving image and data for a still image, and is a case where the first image data is acquired. The still image data is acquired after the first image data is acquired, and when the second image data is acquired, the second image data is acquired after the still image data is acquired. And the step of acquiring special image data generated based on at least one of the still image data, the first image data, or the second image data, and the first image data, the special. The moving image to be reproduced in the order of the image data and the second image data, the first image data, and the special image data, or the special image data and the second image data is generated. It has steps and.

本発明に係る画像生成プログラムは、コンピュータに、動画像用の第1画像データ及び第2画像データの少なくとも1つと、静止画像用データと、を取得するステップであって、前記第1画像データが取得される場合には、前記第1画像データの取得後に、前記静止画像用データを取得し、前記第2画像データが取得される場合には、前記静止画像用データの取得後に、前記第2画像データを取得するステップと、前記静止画像用データ、前記第1画像データ、または前記第2画像データの少なくとも1つに基づいて生成される、特別画像データを取得するステップと、前記第1画像データ、前記特別画像データ、及び前記第2画像データの順、前記第1画像データ、及び前記特別画像データの順、又は前記特別画像データ、及び前記第2画像データの順で再生される前記動画像を取得するステップと、を実行させる。 The image generation program according to the present invention is a step of acquiring at least one of a first image data and a second image data for a moving image and data for a still image in a computer, and the first image data is the step. If it is acquired, the still image data is acquired after the first image data is acquired, and if the second image data is acquired, the second image data is acquired after the still image data is acquired. A step of acquiring image data, a step of acquiring special image data generated based on at least one of the still image data, the first image data, or the second image data, and the first image. The moving image played in the order of data, the special image data, and the second image data, the first image data, and the special image data, or the special image data, and the second image data. Perform the steps to get the image and.

本発明に係る撮影システムは、撮影装置と、編集動画像を生成する画像処理部と、を備え、前記撮影装置は、第1画像データ及び第2画像データの少なくとも一方を含む動画像用データを取得する動画像撮影部と、静止画像用データを取得する静止画像撮影部と、を備え、前記動画像撮影部は、前記動画像用データに第1画像データが含まれる場合、前記静止画像用データの取得前に前記第1画像データを取得し、前記動画像用データに第2画像データが含まれる場合、前記静止画像用データの取得後に前記第2画像データを取得し、前記画像処理部は、前記静止画像用データ、前記第1画像データ、または前記第2画像データの少なくとも1つに基づいて、特別画像データを生成し、前記第1画像データ、前記特別画像データ、及び前記第2画像データの順、前記第1画像データ、及び前記特別画像データの順、又は前記特別画像データ、及び前記第2画像データの順で再生する編集動画像を生成する。 The photographing system according to the present invention includes a photographing device and an image processing unit for generating an edited moving image, and the photographing device includes moving image data including at least one of a first image data and a second image data. The moving image photographing unit includes a moving image photographing unit to be acquired and a still image photographing unit for acquiring still image data, and the moving image photographing unit is used for the still image when the moving image data includes the first image data. When the first image data is acquired before the data is acquired and the moving image data includes the second image data, the second image data is acquired after the still image data is acquired, and the image processing unit is used. Generates special image data based on at least one of the still image data, the first image data, or the second image data, and the first image data, the special image data, and the second image data. An edited moving image to be reproduced is generated in the order of image data, the first image data, the special image data, or the special image data, and the second image data.

本発明によれば、さらに質の高い動画を提供することができる。 According to the present invention, it is possible to provide a higher quality moving image.

本発明の一実施形態に係る撮影装置(カーテンなし)の外観を示す斜視図である。It is a perspective view which shows the appearance of the photographing apparatus (without curtain) which concerns on one Embodiment of this invention. 図1Aの撮影装置(カーテンあり)の外観を示す斜視図である。It is a perspective view which shows the appearance of the photographing apparatus (with a curtain) of FIG. 1A. 図1の撮影装置の撮影ユニットの一例を例示する。An example of the photographing unit of the photographing apparatus of FIG. 1 is illustrated. 図1の撮影装置のハードウェア構成の一例を例示する。An example of the hardware configuration of the photographing apparatus shown in FIG. 1 is illustrated. カメラによる動画像と静止画像の撮影のフローを示す図である。It is a figure which shows the flow of taking a moving image and a still image by a camera. 図1の撮影装置のソフトウェア構成の一例を例示する。An example of the software configuration of the photographing apparatus shown in FIG. 1 is illustrated. 背景選択のための画面である。This is the screen for selecting the background. 背景選択のための画面である。This is the screen for selecting the background. 背景選択のための画面である。This is the screen for selecting the background. 撮影スタイルの選択のための画面である。This is the screen for selecting the shooting style. 撮影のための画面である。This is the screen for shooting. 撮影のための画面である。This is the screen for shooting. 遊戯用動画像データの作成の例を示す図である。It is a figure which shows the example of the creation of the moving image data for a game. 遊戯用動画像データの作成の例を示す図である。It is a figure which shows the example of the creation of the moving image data for a game. 遊戯用動画像データの作成の例を示す図である。It is a figure which shows the example of the creation of the moving image data for a game. 編集プレイにおける落書き編集の人数を設定する画面である。It is a screen to set the number of people to edit graffiti in the editing play. 編集プレイにおける編集処理を示す画面である。This is a screen showing the editing process in the editing play. シートレイアウトを選択するための画面である。This is the screen for selecting the sheet layout. プレイの手順を示すフローチャートである。It is a flowchart which shows the procedure of a play. 遊戯用動画像の再生の例を示す図である。It is a figure which shows the example of reproduction of the moving image for play. コラージュ動画としての遊戯用動画像の再生の例を示す図である。It is a figure which shows the example of reproduction of the moving image for play as a collage moving image. 本発明に係る撮影システムの一例を示す概略図である。It is a schematic diagram which shows an example of the photographing system which concerns on this invention.

<1.撮影装置の概要>
以下、本実施形態に係る撮影装置について説明する。図1Aは、本実施形態に係る撮影装置100からカーテン13を取り除いた状態を示す斜視図、図1Bは、図1Aにおいてカーテン13を取り付けた状態を示す斜視図である。
<1. Overview of shooting equipment>
Hereinafter, the photographing apparatus according to the present embodiment will be described. 1A is a perspective view showing a state in which the curtain 13 is removed from the photographing apparatus 100 according to the present embodiment, and FIG. 1B is a perspective view showing a state in which the curtain 13 is attached in FIG. 1A.

図1A及び図1Bに示されるとおり、撮影装置100は、直方体状の筐体1を備えており、この筐体1の両側面には、内部の撮影空間10に通じる出入口11が形成されている。この出入口11の上縁にはカーテンレール12が取り付けられており、このカーテンレール12には、カーテン13が取り付けられている。これにより、ユーザが撮影を行う際には、カーテン13を閉じることで、撮影空間10を外部から見えないようにすると共に、外部から余計な光が撮影空間10に入らないようにすることができる。筐体1の内装において、後述するカメラ32が配置される面とは反対側の面(背面)等の撮影範囲には、クロマキー合成処理のための単一の色(例えば、青色、緑色等)が付される。単一の色が付される範囲は、撮影範囲の一部であってもよいし、全体であってもよい。 As shown in FIGS. 1A and 1B, the photographing apparatus 100 includes a rectangular parallelepiped housing 1, and entrances and exits 11 leading to the internal photographing space 10 are formed on both side surfaces of the housing 1. .. A curtain rod 12 is attached to the upper edge of the doorway 11, and a curtain 13 is attached to the curtain rod 12. As a result, when the user takes a picture, the curtain 13 can be closed so that the shooting space 10 cannot be seen from the outside and extra light does not enter the shooting space 10 from the outside. .. In the interior of the housing 1, a single color (for example, blue, green, etc.) for chroma key compositing processing is included in the shooting range such as the surface (rear surface) opposite to the surface on which the camera 32 is arranged, which will be described later. Is attached. The range to which a single color is applied may be a part or the whole of the shooting range.

筐体1の内部(撮影空間10)において、撮影時にユーザが存在すべき位置の前方には、撮影ユニット3が設けられている。撮影ユニット3は、撮影空間10内のユーザを撮影し、得られた画像の編集を受け付け、編集された画像をプリントするように構成される。撮影ユニット3の構成の詳細は後述する。なお、当該画像の編集する構成に関して、ユーザの操作に関係なく自動的に行う構成や、編集自体がない構成とすることも可能である。 In the inside of the housing 1 (shooting space 10), a shooting unit 3 is provided in front of a position where the user should be present at the time of shooting. The shooting unit 3 is configured to shoot a user in the shooting space 10, accept editing of the obtained image, and print the edited image. Details of the configuration of the photographing unit 3 will be described later. It should be noted that the configuration for editing the image may be configured to be automatically performed regardless of the user's operation, or may be configured without editing itself.

<2.撮影装置のハードウェア構成>
次に、図2及び図3を更に用いて、本実施形態に係る撮影装置100のハードウェア構成について説明する。図2は、本実施形態に係る撮影装置100の撮影ユニット3を例示する。図3は、撮影装置100のハードウェア構成の一例を模式的に例示する。
<2. Hardware configuration of the shooting device>
Next, the hardware configuration of the photographing apparatus 100 according to the present embodiment will be described with reference to FIGS. 2 and 3. FIG. 2 illustrates the photographing unit 3 of the photographing apparatus 100 according to the present embodiment. FIG. 3 schematically illustrates an example of the hardware configuration of the photographing apparatus 100.

図3に示すように、本実施形態に係る撮影装置100は、制御部5、記憶部6、通信インタフェース7、ドライブ8、タッチパネルディスプレイ31、カメラ32、照明ユニット(照明部)33、スピーカ34、プリンタ35、及び決済処理部36が電気的に接続されたコンピュータを備えており、これらは、上述した撮影ユニット3に収容されている。なお、図3では、通信インタフェースを「通信I/F」と記載している。また、タッチパネルディスプレイ31は、本発明の「表示部」の一例であり、カメラ32は、本発明の「静止画像撮影部」及び「動画像撮影部」の一例である。 As shown in FIG. 3, the photographing apparatus 100 according to the present embodiment includes a control unit 5, a storage unit 6, a communication interface 7, a drive 8, a touch panel display 31, a camera 32, a lighting unit (illumination unit) 33, and a speaker 34. A computer to which the printer 35 and the payment processing unit 36 are electrically connected is provided, and these are housed in the above-mentioned photographing unit 3. In FIG. 3, the communication interface is described as "communication I / F". Further, the touch panel display 31 is an example of the "display unit" of the present invention, and the camera 32 is an example of the "still image photographing unit" and the "moving image photographing unit" of the present invention.

制御部5は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、情報処理に応じて各構成要素の制御を行う。記憶部6は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部5で実行されるプログラム61等の各種データを記憶する。 The control unit 5 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls each component according to information processing. The storage unit 6 is, for example, an auxiliary storage device such as a hard disk drive or a solid state drive, and stores various data such as a program 61 executed by the control unit 5.

プログラム61は、写真撮影の依頼の受け付け、受け付けた依頼に応じた写真撮影、撮影画像の編集、印刷を行うための処理を撮影装置100に実行させるためのプログラムであり、本発明に係る画像形成プログラムが含まれている。この他、記憶部6には、各処理過程で利用される画面データ等が記憶される。詳細は後述する。 The program 61 is a program for causing the photographing apparatus 100 to perform processing for accepting a request for photography, taking a picture in response to the received request, editing a photographed image, and printing, and is an image forming according to the present invention. The program is included. In addition, the storage unit 6 stores screen data and the like used in each processing process. Details will be described later.

通信インタフェース7は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。通信インタフェース7の種類は、撮影装置100の設置場所等に応じて適宜選択されてよい。撮影装置100は、通信インタフェース7を介して、外部サーバ等とデータ通信を行うことができる。 The communication interface 7 is, for example, a wired LAN (Local Area Network) module, a wireless LAN module, or the like, and is an interface for performing wired or wireless communication via a network. The type of the communication interface 7 may be appropriately selected depending on the installation location of the photographing apparatus 100 and the like. The photographing device 100 can perform data communication with an external server or the like via the communication interface 7.

ドライブ8は、例えば、CD(Compact Disk)ドライブ、DVD(Digital Versatile Disk)ドライブ等であり、記憶媒体(不図示)に記憶されたプログラムを読み込みための装置である。ドライブ8の種類は、記憶媒体の種類に応じて適宜選択されてよい。プログラム61は、記憶媒体に記憶されていてもよい。 The drive 8 is, for example, a CD (Compact Disk) drive, a DVD (Digital Versatile Disk) drive, or the like, and is a device for reading a program stored in a storage medium (not shown). The type of the drive 8 may be appropriately selected depending on the type of the storage medium. The program 61 may be stored in a storage medium.

記憶媒体は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、このプログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。この記憶媒体の一例として、例えば、CD、DVD、フラッシュメモリ等を挙げることができる。 The storage medium stores the information of the program or the like by electrical, magnetic, optical, mechanical or chemical action so that the information of the program or the like recorded by the computer or other device, the machine or the like can be read. It is a medium. As an example of this storage medium, for example, a CD, a DVD, a flash memory, or the like can be mentioned.

タッチパネルディスプレイ31は、撮影ユニット3本体の前面パネルの中央に配置されており、タッチパネルディスプレイ31の上方には、写真撮影に利用されるカメラ32が配置されている。制御部5は、カメラ32による撮影を制御する。また、制御部5は、タッチパネルディスプレイ31の表示及びタッチパネルディスプレイ31に対する入力を制御する。タッチパネルディスプレイ31及びカメラ32の種類は、実施形態に応じて適宜選択されてよい。 The touch panel display 31 is arranged in the center of the front panel of the main body of the photographing unit 3, and a camera 32 used for photography is arranged above the touch panel display 31. The control unit 5 controls shooting by the camera 32. Further, the control unit 5 controls the display of the touch panel display 31 and the input to the touch panel display 31. The types of the touch panel display 31 and the camera 32 may be appropriately selected according to the embodiment.

具体的には、カメラ32は、制御部5による制御にしたがって撮影を行う公知の一眼レフカメラによって構成されており、撮影によって得られた画像をRAM又は記憶部6に記憶する。本実施形態では、撮影時にユーザの位置が概ね決まっているため、撮影時のユーザとカメラ32との距離が概ね決まっている。そのため、本実施形態に係るカメラ32の焦点距離は一定である。但し、カメラ32が、ズームレンズを備えていてもよく、必要に応じて制御部5によって焦点距離を調整することができる。 Specifically, the camera 32 is configured by a known single-lens reflex camera that shoots under the control of the control unit 5, and stores the image obtained by the shooting in the RAM or the storage unit 6. In the present embodiment, since the position of the user at the time of shooting is substantially determined, the distance between the user and the camera 32 at the time of shooting is generally determined. Therefore, the focal length of the camera 32 according to the present embodiment is constant. However, the camera 32 may be provided with a zoom lens, and the focal length can be adjusted by the control unit 5 as needed.

このカメラ32は、動画像と静止画像を撮影できるようになっている。すなわち、動画像を撮影する際には、レンズを通過した光が撮影素子によって動画像用データ(動画像用信号)に変換される。動画像用データは、後述するように前半部分の第1画像データと後半部分の第2画像データにより構成されている。そして、動画像用データは、制御部5のRAM及び記憶部6に記憶されるとともに、第1画像データに対して、後述する画像処理部51(図5参照)により表示用の画像処理が行われた上で、タッチパネルディスプレイ31に送信される。動画像用データは、例えば、サンプリングレートが20フレーム/秒の複数のフレーム画像により構成されており、画像処理部では、第1画像データを構成する各フレーム画像に、逐次左右反転処理を行った上で、クロマキー処理により被写体を抽出し、これを背景画像と合成する。こうしてライブ合成画像(表示用動画)が生成され、タッチパネルディスプレイ31において表示される。すなわち、タッチパネルディスプレイ31に表示されるライブ合成画像は、左右が反転した画像であり、ユーザは鏡に映った自身の姿を見るような感覚で、タッチパネルディスプレイ31に表示されたライブ合成画像を確認することができる。こうして生成されたライブ合成画像は記憶部6に記憶される。なお、記憶された動画像用データは、後述するように遊戯用動画像の生成に用いられる。したがって、本実施形態において、動画像用データは、ライブ合成画像と遊戯用動画像の生成に用いられる。 The camera 32 can capture moving images and still images. That is, when a moving image is taken, the light that has passed through the lens is converted into moving image data (moving image signal) by the photographing element. The moving image data is composed of the first image data in the first half portion and the second image data in the second half portion, as will be described later. Then, the moving image data is stored in the RAM and the storage unit 6 of the control unit 5, and the first image data is subjected to image processing for display by the image processing unit 51 (see FIG. 5) described later. After that, it is transmitted to the touch panel display 31. The moving image data is composed of, for example, a plurality of frame images having a sampling rate of 20 frames / sec, and the image processing unit sequentially performs left-right inversion processing on each frame image constituting the first image data. Above, the subject is extracted by chroma key processing and combined with the background image. In this way, a live composite image (display moving image) is generated and displayed on the touch panel display 31. That is, the live composite image displayed on the touch panel display 31 is an image whose left and right sides are reversed, and the user confirms the live composite image displayed on the touch panel display 31 as if he / she sees himself / herself reflected in a mirror. can do. The live composite image thus generated is stored in the storage unit 6. The stored moving image data is used to generate a game moving image as described later. Therefore, in the present embodiment, the moving image data is used to generate the live composite image and the playing moving image.

一方、静止画像を撮影する際には、一旦シャッターが閉じた後、これが開閉する際に、レンズを通過した光が撮影素子によって静止画像用データ(静止画像用信号)に変換される。静止画像用データは、制御部5のRAM及び記憶部6に記憶されるとともに、タッチパネルディスプレイ31に送信される。この際にも、ライブ合成画像と同様に、タッチパネルディスプレイ31に表示される静止画像は、画像処理部51によって、静止画像用データに左右反転処理とクロマキー処理が施された上で、背景画像と合成され、合成静止画像として記憶される。なお、この合成静止画像に対して後述するトリミングが行われた後の画像も、説明の便宜のため、合成静止画像と称することとする。この他、静止画像用データは、上述した編集動画像、及びユーザに提供される印刷用のデータ、後述するサーバに送信されるデータとして利用される。但し、ユーザに提供される合成静止画像は、上述した左右反転処理を施していないものとすることができる。 On the other hand, when a still image is taken, the light that has passed through the lens is converted into still image data (still image signal) by the image sensor when the shutter is closed and then opened and closed. The still image data is stored in the RAM of the control unit 5 and the storage unit 6, and is transmitted to the touch panel display 31. Also at this time, as with the live composite image, the still image displayed on the touch panel display 31 is subjected to left-right inversion processing and chroma key processing on the still image data by the image processing unit 51, and then combined with the background image. It is composited and stored as a composite still image. The image after trimming, which will be described later, is also referred to as a composite still image for convenience of explanation. In addition, the still image data is used as the above-mentioned edited moving image, printing data provided to the user, and data transmitted to a server described later. However, the composite still image provided to the user may not be subjected to the above-mentioned left-right reversal process.

なお、動画像を撮影している際に、静止画像を撮影することもできるが、この場合には、カメラ32のメカニカルシャッター(不図示)が開閉するため、少なくとも開閉を含む所定期間の間は動画像用データの生成が一旦中断される。この点について、図4を参照しつつ説明する。図4に示すように、動画像の撮影開始の指令が制御部5からカメラ32に送信されると、動画像の撮影が開始され、動画像用データが生成される。そして、静止画像用のフォーカスの調整が開始され、調整が完了するとメカニカルシャッターが開閉され、静止画像用データが取得される。この間、動画像用データの生成が中断する。そして、静止画像の撮影が完了すると、動画像用データの生成が再び開始され、動画像の撮影終了の指令が制御部5からカメラ32に送信されると、動画像用データの生成が終了する。このとき、動画像の撮影は、撮影開始の指令から撮影終了の指令まで続けられ、連続した動画像用データが生成される。但し、この動画像用データは、静止画像が撮影されている間、つまりフォーカスの調整開始から、静止画像の撮影終了付近までの時間は、データが欠落している。この点について、詳しく説明する。 It is also possible to take a still image while taking a moving image, but in this case, since the mechanical shutter (not shown) of the camera 32 opens and closes, at least for a predetermined period including opening and closing. The generation of moving image data is temporarily interrupted. This point will be described with reference to FIG. As shown in FIG. 4, when a command to start shooting a moving image is transmitted from the control unit 5 to the camera 32, shooting of the moving image is started and data for the moving image is generated. Then, the focus adjustment for the still image is started, and when the adjustment is completed, the mechanical shutter is opened and closed, and the still image data is acquired. During this time, the generation of moving image data is interrupted. Then, when the shooting of the still image is completed, the generation of the moving image data is started again, and when the command to end the shooting of the moving image is transmitted from the control unit 5 to the camera 32, the generation of the moving image data is completed. .. At this time, the shooting of the moving image is continued from the command for starting the shooting to the command for ending the shooting, and continuous moving image data is generated. However, this moving image data is missing during the time when the still image is being shot, that is, from the start of focus adjustment to the vicinity of the end of shooting the still image. This point will be described in detail.

動画像用データは、撮影開始指令から撮影終了指令までに生成されたフレーム画像により構成され、生成されたフレーム画像には、例えば、時系列順にファイル名(A#a, A#a+1, A#a+2, A#a+n, A#a+n+1,・・・)が付けられ記憶される。ファイル名の前半部の「A」が複数回行われる撮影のうちの何回目の撮影であるかを示しており、後半部の「a」、「a+1」・・・が何番目に生成されたフレーム画像であるかを示している。また、どの時点のデータが欠落しているかを判別するために、フォーカスの調整指令がカメラ32に入ったタイミングを基準に、その直前に生成されたフレーム画像(基準フレーム画像という)のファイル名(あるいは、フレーム画像の番号)が記憶される。そして、動画像用データのうち、撮影開始指令から基準フレーム画像までのフレーム画像が第1画像データを構成し、基準フレーム画像の次のフレーム画像から撮影終了指令までの間に生成されたフレーム画像が第2画像データを構成する。なお、メカニカルシャッターを有するカメラの種類によっては、フォーカス調整の指令にかかわらず、メカニカルシャッターが開閉している間のみ、データが欠落するような動画像用データが生成されることがある。なお、この場合は、どの時点のデータが欠落しているかを判別するために、フォーカスの調整指令のタイミングではなく、メカニカルシャッターが切られたタイミングを基準に基準フレーム画像を設定する。上記基準フレーム画像が、本発明の後部画像データに相当する。 The moving image data is composed of frame images generated from the shooting start command to the shooting end command, and the generated frame images include, for example, file names (A # a, A # a + 1, A #) in chronological order. a + 2, A # a + n, A # a + n + 1, ...) Are attached and stored. The "A" in the first half of the file name indicates the number of shots among the multiple shots, and the second half "a", "a + 1", etc. are generated in what order. Indicates whether it is a frame image. Further, in order to determine at what point in time the data is missing, the file name of the frame image (referred to as the reference frame image) generated immediately before the timing when the focus adjustment command enters the camera 32 (referred to as the reference frame image). Alternatively, the frame image number) is stored. Then, among the moving image data, the frame image from the shooting start command to the reference frame image constitutes the first image data, and the frame image generated between the next frame image of the reference frame image and the shooting end command. Consists of the second image data. Depending on the type of camera having a mechanical shutter, moving image data may be generated such that data is lost only while the mechanical shutter is opened and closed, regardless of the focus adjustment command. In this case, in order to determine at what point in time the data is missing, the reference frame image is set based on the timing when the mechanical shutter is released, not the timing of the focus adjustment command. The reference frame image corresponds to the rear image data of the present invention.

なお、本明細書では、説明の便宜のため、これら第1画像データ及び第2画像データに、それぞれ、背景画像が合成されたり、画像処理が施されているものも、第1画像データ及び第2画像データと称することとする。 In this specification, for convenience of explanation, the first image data and the second image data, respectively, in which a background image is synthesized or image processing is applied to the first image data and the second image data, respectively, are the first image data and the second image data. 2 It will be referred to as image data.

タッチパネルディスプレイ31には、上述した静止画像及びライブ合成画像を表示するほか、上記プログラム61に基づいて、撮影の案内を示す案内画面等が表示される。各画面では、選択操作等の操作入力が受け付けられる。制御部5は、各画面に対する操作入力(タッチ入力)を検知し、検知された操作入力に応じた処理を行う。 In addition to displaying the above-mentioned still image and live composite image on the touch panel display 31, a guidance screen or the like showing shooting guidance is displayed based on the above program 61. Operation inputs such as selection operations are accepted on each screen. The control unit 5 detects an operation input (touch input) for each screen and performs processing according to the detected operation input.

照明ユニット33は、上部照明部331及び下部照明部332を備えている。図2に示すように、上部照明部331は、ユーザ側に向く円形状のカバーを有しており、その内部には、複数の直管型LEDが配置されている。カバーは、乳白色のアクリル板などの透光性を有する材料で形成されており、直管型LEDから照射された光は、カバーを介して、正面上方から、ユーザの顔付近に照射されるようになっている。一方、下部照明部332は、タッチパネルディスプレイ31の下側、写真プリントの取出口37の周囲に配置されている。下部照明部332は、矩形状のカバーと、その内部に配置された複数の直管型LEDとを備えており、カバーは、上部照明部331のカバーと同様の材料で形成されている。そして、下部照明部332は、被写体に対して正面下方から光を照射するようになっている。各照明部331、332の直管型LEDは、制御部5により制御されており、発光量を調節することで、ユーザの撮影処理の段階に応じて撮影空間10内の明るさを調節する。 The lighting unit 33 includes an upper lighting unit 331 and a lower lighting unit 332. As shown in FIG. 2, the upper illumination unit 331 has a circular cover facing the user side, and a plurality of straight tube type LEDs are arranged inside the cover. The cover is made of a translucent material such as a milky white acrylic plate, and the light emitted from the straight tube type LED is emitted from above the front to the vicinity of the user's face through the cover. It has become. On the other hand, the lower lighting unit 332 is arranged on the lower side of the touch panel display 31 and around the photographic print outlet 37. The lower lighting unit 332 includes a rectangular cover and a plurality of straight tube type LEDs arranged therein, and the cover is made of the same material as the cover of the upper lighting unit 331. The lower lighting unit 332 irradiates the subject with light from the lower front side. The straight tube type LEDs of the lighting units 331 and 332 are controlled by the control unit 5, and by adjusting the amount of light emission, the brightness in the photographing space 10 is adjusted according to the stage of the photographing process of the user.

スピーカ34及びプリンタ35は、撮影ユニット3本体に内蔵されている。スピーカ34は、制御部5による制御に従って、写真撮影の案内等の音声出力を行う。また、プリンタ35は、制御部5による制御に従って、撮影された画像又は編集済みの画像をプリントし、プリントした画像を取出口37に排出する。 The speaker 34 and the printer 35 are built in the main body of the photographing unit 3. The speaker 34 outputs voice such as guidance for taking a picture according to the control by the control unit 5. Further, the printer 35 prints the captured image or the edited image under the control of the control unit 5, and outputs the printed image to the outlet 37.

決済処理部36は、タッチパネルディスプレイ31の右側に配置されている。詳細な図示は省略するが、この決済処理部36は、コイン投入口、紙幣投入口、カードリーダ、釣銭排出口を備えている。この決済処理部には、各種のセンサが設けられており、コイン、紙幣の投入を検知し、当該検知を表わす起動信号を制御部5に出力する。また、撮影のキャンセル及び撮影に要する金額分より多い金額分の現金が投入された際に、該当金額分の現金を紙幣投入口、または釣銭排出口に排出する。 The payment processing unit 36 is arranged on the right side of the touch panel display 31. Although detailed illustration is omitted, the payment processing unit 36 includes a coin slot, a bill slot, a card reader, and a change slot. The payment processing unit is provided with various sensors, detects the insertion of coins and banknotes, and outputs an activation signal indicating the detection to the control unit 5. In addition, when the amount of cash required for shooting is canceled or the amount of cash is larger than the amount required for shooting, the corresponding amount of cash is discharged to the bill slot or the change slot.

カードリーダは、ICカード、クレジットカード等のカードの情報を読取可能に構成される。このカードリーダには、各種カードの情報を読取可能な公知のリーダが用いられてよい。カードリーダは、電子マネー、クレジットカード等による料金の支払いを受け付け、当該料金の支払いを受け付けた際には、そのことを表わす起動信号を制御部5に出力する。 The card reader is configured to be able to read information on cards such as IC cards and credit cards. As this card reader, a known reader capable of reading information on various cards may be used. The card reader accepts payment of charges by electronic money, credit card, etc., and when the payment of the charges is accepted, outputs an activation signal indicating that to the control unit 5.

(その他)
なお、撮影装置100の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部5は、複数のプロセッサを含んでもよい。また、撮影装置100は、提供されるサービス専用に設計された情報処理装置の他、汎用のPC(Personal Computer)等であってもよい。
(others)
Regarding the specific hardware configuration of the photographing apparatus 100, it is possible to omit, replace, or add components as appropriate according to the embodiment. For example, the control unit 5 may include a plurality of processors. Further, the photographing apparatus 100 may be a general-purpose PC (Personal Computer) or the like, in addition to the information processing apparatus designed exclusively for the provided service.

<3.撮影装置のソフトウェア構成>
次に、図5を用いて、本実施形態に係る撮影装置100のソフトウェア構成の一例を説明する。図5は、本実施形態に係る撮影装置100のソフトウェア構成の一例を模式的に例示する。
<3. Software configuration of the shooting device>
Next, an example of the software configuration of the photographing apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 5 schematically illustrates an example of the software configuration of the photographing apparatus 100 according to the present embodiment.

撮影装置100の制御部5は、記憶部6に記憶されたプログラム61をRAMに展開する。そして、制御部5は、RAMに展開されたプログラム61をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図5に示すように、本実施形態に係る撮影装置100の制御部5等は、ソフトウェアモジュールとして、背景画像の選択、撮影プレイの処理、照明の制御、及び後述する遊戯用動画像の生成を行う画像処理部51、編集プレイを提供する編集処理部52、及びシートの印刷、動画像の表示などの処理を行う出力処理部53として機能する。撮影プレイは、後述するようにユーザの撮影を行うための一連のプレイであり、編集プレイは、後述する編集用画像に落書きなどの編集を行うための一連のプレイである。 The control unit 5 of the photographing apparatus 100 expands the program 61 stored in the storage unit 6 into the RAM. Then, the control unit 5 controls each component by interpreting and executing the program 61 expanded in the RAM by the CPU. As a result, as shown in FIG. 5, the control unit 5 and the like of the photographing apparatus 100 according to the present embodiment, as software modules, select a background image, process shooting play, control lighting, and play moving images described later. It functions as an image processing unit 51 that generates an image, an editing processing unit 52 that provides editing play, and an output processing unit 53 that performs processing such as printing a sheet and displaying a moving image. The shooting play is a series of plays for shooting the user as described later, and the editing play is a series of plays for editing graffiti or the like on the editing image described later.

<3-1.画像処理部>
画像処理部51は、以下の処理を行う。なお、特に断りのない限り、以下で説明する処理は、画像処理部51によって行われることとする。背景画像を選択させるため、まず、図6に示す背景画像選択画面6をタッチパネルディスプレイ31に表示する。本実施形態では、2枚のアップ画像と2枚の全身画像の撮影が行われるが、各画像用の背景画像がそれぞれ選択される。図6に示す画面の上段には、2枚のアップ画像用の背景画像スペースと、2枚の全身画像用の背景画像スペースが設けられている。以下、説明の便宜上、これらのスペースを左から右に向かって第1~第4スペース61~64と称することがある。そして、これら背景画像スペース61~64の下には「おまかせ」ボタン65が配置され、その下方に10枚の背景画像の候補が表示されたサンプルスペース66が設けられている。このサンプルスペース66には、10枚の背景画像が示されているが、右スクロールボタン661または左スクロールボタン662をタッチすると、他の10枚の背景画像の候補が表示されるようになっている。
<3-1. Image processing unit>
The image processing unit 51 performs the following processing. Unless otherwise specified, the processing described below is performed by the image processing unit 51. In order to select the background image, first, the background image selection screen 6 shown in FIG. 6 is displayed on the touch panel display 31. In the present embodiment, two close-up images and two full-body images are taken, and a background image for each image is selected. In the upper part of the screen shown in FIG. 6, a background image space for two close-up images and a background image space for two full-body images are provided. Hereinafter, for convenience of explanation, these spaces may be referred to as first to fourth spaces 61 to 64 from left to right. An "Random" button 65 is arranged below these background image spaces 61 to 64, and a sample space 66 in which 10 background image candidates are displayed is provided below the "Random" button 65. Although 10 background images are shown in this sample space 66, when the right scroll button 661 or the left scroll button 662 is touched, other 10 background image candidates are displayed. ..

ユーザが、サンプルスペース66の中のいずれかの背景画像を選択すると(タッチすると)、図7に示すように、第1~第4スペース61~64に、選択した背景画像が順に表示されるようになっている。このとき、背景画像が表示された背景画像スペース61~64をタッチすると、背景画像の選択がキャンセルされ、その背景画像スペース61~64から背景画像が消去される。これにより、背景画像の再選択が可能となる。 When the user selects (touches) any of the background images in the sample space 66, the selected background images are sequentially displayed in the first to fourth spaces 61 to 64 as shown in FIG. 7. It has become. At this time, if the background image spaces 61 to 64 on which the background image is displayed are touched, the selection of the background image is canceled and the background image is deleted from the background image spaces 61 to 64. This makes it possible to reselect the background image.

また、「おまかせ」ボタン65により背景画像を選択することも可能である。すべての背景画像スペース61~64に背景画像が表示されていない状態で、「おまかせ」ボタン65をタッチすると、背景画像スペース61~64のそれぞれに、サンプルスペース66からランダムに選択された背景画像が表示される。このとき、各背景画像スペース61~64に表示される背景画像は重複しないように選択される。この状態で、背景画像が表示された背景画像スペース61~64、または背景画像スペース61~64内の「X」ボタンをタッチすると、上記と同様に、背景画像の選択がキャンセルされ、その背景画像スペース61~64から背景画像が消去される。ここで、例えば、図8に示すように、第2及び第4スペース62,64の背景画像がキャンセルされた状態で、「おまかせ」ボタン65をタッチすると、2枚の背景画像がランダムに選択され、キャンセルされた第2及び第4スペース62,64にそれぞれ表示される。このとき、新たな2枚の背景画像は、第1及び第3スペース61,63において既に選択されている2枚の背景画像とは重複しないように選択される。このように、「おまかせ」ボタン65をタッチすると、背景画像が表示されていない背景画像スペース61~64の数だけ、重複しないように、新たな背景画像が選択され、その背景画像スペース61~64に表示される。なお、4枚の背景画像が全て選択されている状態で、「おまかせ」ボタン65をタッチすると、背景画像スペース61~64に表示されている4枚の背景画像が、これら4枚の背景画像を除く複数の背景画像の中からランダムに選択された別の4枚の背景画像に入れ替わるようになっている。 It is also possible to select a background image by clicking the "Random" button 65. When the "Random" button 65 is touched while the background image is not displayed in all the background image spaces 61 to 64, the background image randomly selected from the sample space 66 is displayed in each of the background image spaces 61 to 64. Is displayed. At this time, the background images displayed in the background image spaces 61 to 64 are selected so as not to overlap. In this state, if the "X" button in the background image spaces 61 to 64 or the background image spaces 61 to 64 in which the background image is displayed is touched, the selection of the background image is canceled and the background image is canceled in the same manner as above. The background image is erased from the spaces 61 to 64. Here, for example, as shown in FIG. 8, when the "Random" button 65 is touched while the background images of the second and fourth spaces 62 and 64 are canceled, the two background images are randomly selected. , Displayed in the canceled second and fourth spaces 62 and 64, respectively. At this time, the two new background images are selected so as not to overlap with the two background images already selected in the first and third spaces 61 and 63. In this way, when the "Random" button 65 is touched, new background images are selected so as not to overlap the number of background image spaces 61 to 64 in which the background image is not displayed, and the background image spaces 61 to 64 are selected. Is displayed in. If you touch the "Random" button 65 with all four background images selected, the four background images displayed in the background image spaces 61 to 64 will change to these four background images. It is designed to be replaced with another four background images randomly selected from a plurality of background images to be excluded.

そして、背景画像の選択が完了し、OKボタン67をタッチすると、次の撮影処理に移行する。すなわち、OKボタン67がタッチされるまでは、背景画像の選択を何度でも行うことができる。なお、OKボタン67をタッチする前であっても、所定時間が経過した場合には、背景画像の選択処理を強制的に終了してもよい。このとき、4枚の背景画像の選択が完了していなければ、背景画像選択部51が任意に背景画像を選択する。なお、一部の背景画像がすでに選ばれている場合は、選ばれている一部の背景画像以外を任意に選択する。 Then, when the selection of the background image is completed and the OK button 67 is touched, the process proceeds to the next shooting process. That is, the background image can be selected as many times as necessary until the OK button 67 is touched. Even before the OK button 67 is touched, the background image selection process may be forcibly terminated when the predetermined time has elapsed. At this time, if the selection of the four background images is not completed, the background image selection unit 51 arbitrarily selects the background image. If some background images have already been selected, any background image other than the selected background images is arbitrarily selected.

次に、撮影プレイの処理について説明する。背景画像選択画面6において、OKボタン67からの選択が行われると、撮影に関する処理が開始される。まず、アップ画像の撮影から行われる。このとき、図9に示す、アップ画像のスタイルを選択するためのスタイル選択画面701がタッチパネルディスプレイ32に表示される。図9に示すように、このスタイル選択画面701には、3種類のアップ画像の撮影のためのスタイルが表示されている。すなわち、左側から右側に向かって、高めスタイル71、低めスタイル72、及び多人数スタイル73が表示されている。高めスタイル71は、大人などの背の高い被写体の上半身が含まれる静止画像を生成するためのスタイルであり、撮影された画像の上部付近がトリミングされ、これに基づいて、上述した合成静止画像が生成される。低めスタイル72は、子供などの背の低い被写体の上半身が含まれる静止画像を生成するためのスタイルであり、撮影された画像の中間部付近がトリミングされ、これに基づいて、上述した合成静止画像が生成される。多人数スタイル73は、例えば、3人以上の被写体が横方向に並んでいる静止画像を生成するためのスタイルであり、撮影された画像の中間部から上部付近が左右方向に長めにトリミングされ、これに基づいて、上述した合成静止画像が生成される。トリミングの縦横比は、どのスタイルとも同じである。 Next, the processing of the shooting play will be described. When the selection is made from the OK button 67 on the background image selection screen 6, the processing related to shooting is started. First, the close-up image is taken. At this time, the style selection screen 701 for selecting the style of the close-up image shown in FIG. 9 is displayed on the touch panel display 32. As shown in FIG. 9, the style selection screen 701 displays three types of styles for taking close-up images. That is, from the left side to the right side, the high style 71, the low style 72, and the multiplayer style 73 are displayed. The high style 71 is a style for generating a still image including the upper body of a tall subject such as an adult, and the vicinity of the upper part of the captured image is trimmed, and based on this, the above-mentioned composite still image is obtained. Generated. The low style 72 is a style for generating a still image including the upper body of a short subject such as a child, and the vicinity of the middle part of the captured image is trimmed, and based on this, the above-mentioned composite still image is obtained. Is generated. The multi-person style 73 is, for example, a style for generating a still image in which three or more subjects are lined up in the horizontal direction, and the middle portion to the upper portion of the captured image is trimmed long in the left-right direction. Based on this, the above-mentioned composite still image is generated. The aspect ratio of trimming is the same for all styles.

ユーザがいずれかのスタイル71~73を選択し、OKボタン74をタッチすると、スタイルの選択が完了し、アップ画像の撮影に移行する。なお、OKボタン74がタッチされるまでは、スタイルの選択を何度でも行うことができる。 When the user selects any of the styles 71 to 73 and touches the OK button 74, the style selection is completed and the process proceeds to shooting a close-up image. You can select the style as many times as you like until the OK button 74 is touched.

これまで説明したОKボタン67やOKボタン74や、以下の説明で登場する各種の選択確定ボタンは、各画面に対してユーザが1回目の選択操作するまで非表示としたり、画面が表示されてから数秒の期間非表示としたりすることも可能である。これにより、ユーザが誤って選択確定ボタンをタッチし、ユーザの意に沿わない選択を確定させてしまう確率を低減することができる。 The OK button 67 and the OK button 74 described so far, and the various selection confirmation buttons appearing in the following description are hidden or displayed on each screen until the user performs the first selection operation. It is also possible to hide it for a period of several seconds. As a result, it is possible to reduce the probability that the user accidentally touches the selection confirmation button and confirms the selection that does not suit the user's intention.

図10はアップ画像の撮影準備画面である。図10に示すように、この撮影準備画面702にはアップ画像の撮影が開始される旨が表示され、その下方に、選択されたスタイルのサンプルポーズ75が表示されている。例えば、低めスタイルを選択した場合には、モデルに子供を含むファミリー(2人)用のサンプルポーズが示され、大人に対しては撮影に当たって少しかがむことが音声等により促される。また、高めスタイルを選択したときには、大人用(カップル等)のサンプルポーズが示され、多人数スタイを選択したときには、子供を含む3人以上のサンプルポーズが示される。また、サンプルポーズの下方には4つの撮影画像スペース76が表示されており、このスペース76に撮影された合成静止画像(アップ画像2枚と全身画像2枚)が配置される。 FIG. 10 is a close-up image shooting preparation screen. As shown in FIG. 10, the shooting preparation screen 702 indicates that the shooting of the close-up image is started, and the sample pose 75 of the selected style is displayed below the shooting. For example, when the lower style is selected, the model shows a sample pose for a family (two people) including children, and the adult is urged to bend down a little when shooting by voice or the like. In addition, when the high style is selected, sample poses for adults (couples, etc.) are shown, and when a multi-person bib is selected, sample poses for three or more people including children are shown. In addition, four captured image spaces 76 are displayed below the sample pose, and composite still images (two close-up images and two full-body images) captured in these spaces 76 are arranged.

図10の画面は所定時間表示されるが、この間にユーザにサンプルポーズ75を確認させる。そして、所定時間が経過すると、図11のアップ画像の撮影画面703に遷移し、カメラ32による動画像撮影、すなわち動画像用データの取得が開始される。図11の画面には、取得された動画像用データの前半部である第1画像データに対して画像処理が施されたライブ合成画像(表示用動画)77が生成・表示され、その両側にサンプルポーズ78が表示されている。なお、サンプルポーズ78は、図10のサンプルポーズ75と同じ画像である。また、ライブ合成画像77の下方には、上述した撮影画像スペース76が表示されている。上述したとおり、ライブ合成画像77は、カメラ32で撮影された第1画像データに対して、少なくとも下記の4つの処理が1~4の順でなされたものである。
1.図9のスタイル選択の結果に応じたトリミング処理(トリミング処理)
2.クロマキー処理による被写体抽出(被写体抽出処理)
3.選択された背景画像との合成処理(合成処理)
4.左右反転処理による鏡像化(鏡像化処理)
The screen of FIG. 10 is displayed for a predetermined time, during which the user is asked to confirm the sample pose 75. Then, when the predetermined time elapses, the screen transitions to the close-up image shooting screen 703 of FIG. 11, and moving image shooting by the camera 32, that is, acquisition of moving image data is started. On the screen of FIG. 11, a live composite image (display moving image) 77 in which image processing is applied to the first image data which is the first half of the acquired moving image data is generated and displayed, and both sides thereof are generated and displayed. The sample pose 78 is displayed. The sample pose 78 is the same image as the sample pose 75 in FIG. Further, below the live composite image 77, the above-mentioned captured image space 76 is displayed. As described above, in the live composite image 77, at least the following four processes are performed on the first image data captured by the camera 32 in the order of 1 to 4.
1. 1. Trimming process (trimming process) according to the result of style selection in FIG.
2. 2. Subject extraction by chroma key processing (subject extraction processing)
3. 3. Compositing process with the selected background image (compositing process)
4. Mirroring by flipping left and right (mirroring)

なお、背景画像のデザインを左右反転させたくない場合は、4の「左右反転処理」を、3の「背景画像との合成処理」よりも前に行えばよい。これにより、ユーザは、ライブ合成画像77を見ながら、ポーズを取ったり、被写体が撮影画像に含まれるように位置の調整を行うことができる。 If you do not want to invert the design of the background image left and right, you may perform the "left and right inversion process" in 4 before the "composite process with the background image" in 3. As a result, the user can pose while watching the live composite image 77 and adjust the position so that the subject is included in the captured image.

そして、カウントダウンがなされた後、カメラ32が駆動されて撮影が行われ、静止画像用データが取得される。カメラ32の駆動時に、カメラ32のフォーカスが開始されると動画像用データの取得が中断され、第1画像データの取得が完了する。これにより、ライブ合成画像77のタッチディスプレイ31への表示も停止される。そして、取得された静止画像用データに対してスタイル選択の結果に応じたトリミングを行い、さらにクロマキー処理により、被写体部分を抽出した静止画像を生成する。この静止画像と、選択された背景画像とを合成して合成静止画像を生成し、記憶部6に記憶する。そして、この合成静止画像は、撮影の結果として、タッチディスプレイ31のライブ画像77が表示されていた領域に表示される。撮影結果として表示される合成静止画像は、ライブ合成画像77と同様の左右反転処理が施されたものであってもよい。 Then, after the countdown is performed, the camera 32 is driven to perform shooting, and still image data is acquired. When the focus of the camera 32 is started while the camera 32 is being driven, the acquisition of the moving image data is interrupted, and the acquisition of the first image data is completed. As a result, the display of the live composite image 77 on the touch display 31 is also stopped. Then, the acquired still image data is trimmed according to the result of style selection, and further, a still image from which the subject portion is extracted is generated by chroma key processing. This still image and the selected background image are combined to generate a composite still image, which is stored in the storage unit 6. Then, as a result of shooting, this synthetic still image is displayed in the area where the live image 77 of the touch display 31 is displayed. The composite still image displayed as a shooting result may be left-right inverted in the same manner as the live composite image 77.

静止画像用データが取得された後、動画像用データの取得が再開され、第2画像データの取得を開始する。そして、所定期間後の次の撮影が始まる前に、動画像撮影、すなわち動画像用データの取得が終了し、第2画像データの取得が完了する。第1画像データ及び第2画像データは、動画像用データとして記憶部6に記憶される。 After the still image data is acquired, the acquisition of the moving image data is resumed, and the acquisition of the second image data is started. Then, before the next shooting after the predetermined period starts, the moving image shooting, that is, the acquisition of the moving image data is completed, and the acquisition of the second image data is completed. The first image data and the second image data are stored in the storage unit 6 as moving image data.

なお、静止画像を撮影するに当たっては、シャッターが切られる直前(数ミリ秒前)からシャッターが切られた直後までの間に、タッチパネルディスプレイ31は、図11の画面ではなく、全体が白の画面(演出静止画)が表示される。これにより、より明るい撮影画像を得ることができる。暗い撮影画像としたい場合は、白の画面に変えて黒の画面を表示することもできる。また、ユーザにカメラ32を向かせるために、タッチパネルディスプレイ31には、カメラ32のレンズの方向に向けた矢印等の表示を示すことができる。 When taking a still image, the touch panel display 31 is not the screen shown in FIG. 11 but an entirely white screen between immediately before the shutter is released (several milliseconds before) and immediately after the shutter is released. (Directed still image) is displayed. This makes it possible to obtain a brighter captured image. If you want a dark image, you can display a black screen instead of a white screen. Further, in order to direct the camera 32 to the user, the touch panel display 31 can show a display such as an arrow pointing in the direction of the lens of the camera 32.

以上説明したアップ撮影が2回行われた後、アップ撮影と同様の手順で全身画像の撮影が2回行われる。そして、それぞれの撮影に対応する合成静止画像、静止画像用データ及び動画像用データが生成される。なお、アップ画像と同様に、タッチパネルディスプレイ31には、図10と同様の撮影準備画面が所定時間表示された後、図11と同様の撮影画面が表示され、全身画像の撮影が行われる。なお、このときの撮影準備画面及び撮影画面には、所定の全身画像用のサンプルポーズが示される。こうして、2回の全身画像の撮影が完了すると、出力処理に移行する。なお、全身画像の撮影に関して、これにより生成される合成静止画像は、アップ撮影の合成生成画像とは異り、被写体の下半身も含まれるようなトリミング範囲で切り出された画像となっている。 After the close-up photography described above is performed twice, the whole body image is taken twice in the same procedure as the close-up photography. Then, the composite still image, the still image data, and the moving image data corresponding to each shooting are generated. Similar to the close-up image, the touch panel display 31 displays the same shooting preparation screen as in FIG. 10 for a predetermined time, and then the same shooting screen as in FIG. 11 is displayed, and the whole body image is taken. A sample pose for a predetermined whole body image is shown on the shooting preparation screen and the shooting screen at this time. In this way, when the shooting of the whole body image is completed twice, the output processing is started. Regarding the shooting of the whole body image, the composite still image generated by this is different from the composite generated image of the close-up shooting, and is an image cut out in a trimming range so as to include the lower body of the subject.

なお、画像処理部51による照明の制御により、プレイが始まってから終了するまで、照明ユニット33から発せられる光の強度が制御されているが、静止画像が撮影される所定時間前から静止画の撮影が完了後の所定時間経過後までの間、上部照明部331及び下部照明部332の光の強度が高くされ、静止画像を適切に撮影できるようにする。各照明部331,332の光の強度を強くする時間は、適宜変更できるが、例えば、動画像用データの取得開始指令が出てから、取得終了指令が出るまでの時間にすることができる。 The lighting control by the image processing unit 51 controls the intensity of the light emitted from the lighting unit 33 from the start to the end of the play, but the still image is captured from a predetermined time before the still image is taken. The light intensity of the upper illumination unit 331 and the lower illumination unit 332 is increased until a predetermined time elapses after the completion of the imaging, so that a still image can be appropriately captured. The time for increasing the light intensity of each of the lighting units 331 and 332 can be appropriately changed, and can be, for example, the time from the issuance of the acquisition start command for moving image data to the issuance of the acquisition end command.

次に、画像処理部51による遊戯用動画像を生成する処理について説明する。画像処理部51は、記憶部6に記憶された動画像用データ及び静止画像用データを利用して、動画像を生成する機能を有する。この動画像を上述したライブ合成動画77と区別するため、遊戯用動画像(編集動画像)と称することとし、この遊戯用動画像のためのデータを遊戯用動画像データと称する。この遊戯用動画の提供は、ユーザに対するサプライズのサービスであり、遊戯用動画像を生成していることをユーザには通知せずに、生成を行う。 Next, a process of generating a moving image for play by the image processing unit 51 will be described. The image processing unit 51 has a function of generating a moving image by using the moving image data and the still image data stored in the storage unit 6. In order to distinguish this moving image from the above-mentioned live composite moving image 77, it is referred to as a game moving image (edited moving image), and the data for this playing moving image is referred to as a game moving image data. The provision of this game video is a surprise service to the user, and the game video is generated without notifying the user that the game video is being generated.

遊戯用動画像の生成は、上述した4回の撮影の少なくとも1つを利用して行う。例えば、1回目のアップ撮影を行っている際に、遊戯用動画像の生成を併せて行う。上述したように、画像処理部51は、ライブ合成画像77を説明する際に示した通り、静止画像の撮影の所定時間前に動画像用データの取得開始指令をカメラ32に対して行い、静止画像の撮影から所定時間経過後に取得終了指令をカメラ32に対して行う(図4参照)。これにより、上述したような第1画像データ及び第2画像データを含む動画像用データが生成され、記憶部6に記憶される。そして、この動画像用データを構成する各フレーム画像には、上述したスタイル選択画面701で選択されたスタイルに基づいて、画像処理部51により、トリミングが施される。このとき、動画像用データに施されるトリミングは、合成静止画像に施されたトリミングと、トリミング適合するように行われ、これによって、後述するように、動画像用データと静止画像用データとを合成するときに不自然さが生じないようにする。また、各フレーム画像には、クロマキー処理が行われて被写体のみを抽出し、これに背景画像を合成する。このとき合成される背景画像は、上述した背景画像選択部51による処理で選択された背景画像とは異なるものであり、画像処理部51が、任意に選択した背景画像である。なお、説明の便宜のため、フレーム画像にトリミング処理、クロマキー処理、及び背景画像の合成が行われた後の動画像用データ、第1画像データ、及び第2画像データも、それぞれ動画像用データ、第1画像データ、及び第2画像データと称することとする。 The game moving image is generated by using at least one of the above-mentioned four shootings. For example, when the first close-up shooting is performed, a moving image for play is also generated. As described above, the image processing unit 51 issues a command to start acquisition of moving image data to the camera 32 before a predetermined time for shooting a still image, as shown in the explanation of the live composite image 77, and is stationary. An acquisition end command is given to the camera 32 after a predetermined time has elapsed from the acquisition of the image (see FIG. 4). As a result, moving image data including the first image data and the second image data as described above is generated and stored in the storage unit 6. Then, each frame image constituting the moving image data is trimmed by the image processing unit 51 based on the style selected on the style selection screen 701 described above. At this time, the trimming applied to the moving image data is performed so as to match the trimming applied to the composite still image, thereby, as will be described later, the moving image data and the still image data. To prevent unnaturalness when synthesizing. In addition, chroma key processing is performed on each frame image to extract only the subject, and a background image is combined with this. The background image synthesized at this time is different from the background image selected by the processing by the background image selection unit 51 described above, and is a background image arbitrarily selected by the image processing unit 51. For convenience of explanation, the moving image data, the first image data, and the second image data after the frame image is trimmed, chroma keyed, and combined with the background image are also moving image data. , The first image data, and the second image data.

次に、画像処理部51は、第1画像データと第2画像データとの間、つまり第1画像データの最後の基準フレーム画像の後に特別画像データを挿入し、第1画像データ、特別画像データ、及び第2画像データがこの順で再生される遊戯用動画像データを生成する。すなわち、特別画像データは、上述したように、画像が欠落している時間帯を補完するように生成された動画用の画像データである。特別画像データの生成方法は、種々の方法があるが、以下では例として3つの方法を示す。 Next, the image processing unit 51 inserts special image data between the first image data and the second image data, that is, after the last reference frame image of the first image data, and the first image data and the special image data. , And the second image data are reproduced in this order to generate moving image data for play. That is, as described above, the special image data is image data for moving images generated so as to complement the time zone in which the image is missing. There are various methods for generating special image data, but three methods are shown below as examples.

第1の方法では、図12に示すように、特別画像データとして、第1画像データと第2画像データの間で生成された被写体の静止画像用データを用いる。より詳細に説明すると、まず、上述したスタイル選択画面701で選択されたスタイルに基づいて、画像処理部51により、静止画像用データに対してトリミングが施される。そして、クロマキー処理により、トリミングされた静止画像用データから被写体を抽出し、これに動画像用データと同様に、ユーザが選択したものとは異なる背景画像が合成された合成画像データを生成する。そして、1つの合成画像データを1フレームとし、これを複数繋いで数フレームの動画像となる特別画像データを生成する。ここで生成するフレーム数は特には限定されないが、例えば、画像が欠落した時間に合わせてフレーム数を決めることもできるし、その時間よりも長くしたり短くしたりすることもできる。こうして生成された特別画像データを第1画像データと第2画像データとの間に組み込むと、遊戯用動画像データが生成され、記憶部6に記憶される。 In the first method, as shown in FIG. 12, as the special image data, the still image data of the subject generated between the first image data and the second image data is used. More specifically, first, the image processing unit 51 trims the still image data based on the style selected on the style selection screen 701 described above. Then, the subject is extracted from the trimmed still image data by the chroma key processing, and a composite image data in which a background image different from the one selected by the user is synthesized is generated as well as the moving image data. Then, one composite image data is regarded as one frame, and a plurality of these are connected to generate special image data which is a moving image of several frames. The number of frames generated here is not particularly limited, but for example, the number of frames can be determined according to the time when the image is missing, and can be made longer or shorter than that time. When the special image data thus generated is incorporated between the first image data and the second image data, the moving image data for play is generated and stored in the storage unit 6.

第2の方法としては、第2画像データの最初のフレーム画像、つまり基準フレーム画像の次のフレーム画像(前部画像データ)を用いる。より詳細には、図13に示すように、このフレーム画像を1フレームとし、これを複数繋いで数フレームの動画像となる特別画像データを生成する。フレーム数の決定は第1の方法と同様である。こうして生成された特別画像データを第1画像データと第2画像データとの間に組み込むと、遊戯用動画像データが生成される。なお、第2画像データの最初のフレーム画像の代わりに、第1画像データの最後の基準フレーム画像(後部画像データ)を用いて特別画像データを生成することもできる。但し、上述したようなフォーカスの調整指令後にデータの欠損が生じるようなカメラでは、第1画像データの生成中は、静止画像の撮影前であるため、ポーズを取るなど、被写体が動くことが多いため、撮影においてポーズが決まった直後の第2画像データを用いることが好ましい。一方、シャッターが開閉している間のデータが欠損するタイプのカメラでは、第1画像データ及び第2画像データのいずれを用いても大差はない。また、第1画像データの最後のフレーム画像(基準フレーム画像)のみ、または第2画像データの最初のフレーム画像のみだけではなく、例えば、第1画像データの最後の数フレームの画像(後部画像データに相当)、または第2画像データの最初の数フレームの画像(前部画像データに相当)を用いて特別画像データを生成することもできる。また、顔検出を用いて、第1画像データ及び第2画像データのフレーム画像のうち、被写体が、より前を向いているフレーム画像を選択することもできる。 As the second method, the first frame image of the second image data, that is, the next frame image (front image data) of the reference frame image is used. More specifically, as shown in FIG. 13, this frame image is regarded as one frame, and a plurality of these frame images are connected to generate special image data which is a moving image of several frames. The determination of the number of frames is the same as in the first method. When the special image data thus generated is incorporated between the first image data and the second image data, the moving image data for play is generated. It is also possible to generate special image data by using the last reference frame image (rear image data) of the first image data instead of the first frame image of the second image data. However, in a camera in which data loss occurs after the focus adjustment command as described above, the subject often moves, such as taking a pose, because the first image data is being generated before the still image is taken. Therefore, it is preferable to use the second image data immediately after the pose is determined in the shooting. On the other hand, in a type of camera in which data is lost while the shutter is opened and closed, there is no big difference regardless of whether the first image data or the second image data is used. Further, not only the last frame image of the first image data (reference frame image) or only the first frame image of the second image data, but also, for example, an image of the last few frames of the first image data (rear image data). It is also possible to generate special image data using the image of the first few frames of the second image data (corresponding to the front image data). It is also possible to use face detection to select a frame image in which the subject is facing forward from the frame images of the first image data and the second image data.

第3の方法としては、図14に示すように、第1画像データの最後のフレーム画像と、第2画像データの最初のフレーム画像とを用い、ニューラルネットワーク等を用いた機械学習により、特別画像データを生成することができる。例えば、上記2つのフレーム画像を入力データ、特別画像データを出力データとする教師データにより、誤差逆伝播法により学習された学習器を生成する。第1画像データと第2画像データの間には、所定時間が形成しており、第1画像データの最後のフレーム画像に写る被写体と、第2画像データの最初のフレーム画像に写る被写体とは異なる可能性がある。したがって、教師データに含まれる出力データは、2つのフレーム画像の間での被写体の動きが含まれる複数のフレーム画像とすることができる。こうして、学習器から出力された特別画像データを、第1画像データと第2画像データとの間に組み込むと、遊戯用動画像データが生成される。 As a third method, as shown in FIG. 14, a special image is obtained by machine learning using a neural network or the like using the last frame image of the first image data and the first frame image of the second image data. Data can be generated. For example, a learner trained by the error back propagation method is generated from teacher data using the above two frame images as input data and special image data as output data. A predetermined time is formed between the first image data and the second image data, and the subject appearing in the last frame image of the first image data and the subject appearing in the first frame image of the second image data are It may be different. Therefore, the output data included in the teacher data can be a plurality of frame images including the movement of the subject between the two frame images. In this way, when the special image data output from the learner is incorporated between the first image data and the second image data, the moving image data for play is generated.

なお、特別画像データにさらに画像処理を施すこともできる。例えば、特別画像データの最初や途中に白色のフレーム画像を挿入すると、遊戯用動画像の途中でストロボが発光したような演出を施すことができる。その他、特別画像データには、種々の演出用の画像処理を施すことができるが、例えば、遊戯用動画像において特別画像データに対応する部分の最初、途中及び/又は最後の数フレームに対して色を変更したり、スライドイン、フェードイン、ターン等の演出がなされるように、特別画像データに画像処理を行うことができる。また、第1画像データや第2画像データに対しても、同様の画像処理を施すこともできる。 Further, image processing can be applied to the special image data. For example, by inserting a white frame image at the beginning or in the middle of the special image data, it is possible to give an effect that the strobe emits light in the middle of the moving image for play. In addition, various image processing for effect can be applied to the special image data. For example, for the first, middle and / or last few frames of the part corresponding to the special image data in the moving image for play. Image processing can be performed on the special image data so that the color can be changed and effects such as slide-in, fade-in, and turn are performed. Further, the same image processing can be applied to the first image data and the second image data.

こうして生成された遊戯用動画像データは、後述する出力処理において用いられる。なお、上述したライブ合成画像を用いて、遊戯用動画像データを生成することもできる。この場合、ライブ合成画像が、第1画像データに相当する。ライブ合成画像は、上述したとおり、トリミング処理、被写体抽出処理、合成処理及び鏡像化処理が施されているので、特別画像データ及び第2画像データもこれら4つの処理が施されたものを使用する。これにより、左右反転した遊戯用動画像を生成することができる。左右反転処理された遊戯用動画像は、鏡に映った自分であるので、普段から見慣れた自身の姿を動画像として提供することができる。 The game video image data generated in this way is used in the output processing described later. It should be noted that the above-mentioned live composite image can also be used to generate moving image data for play. In this case, the live composite image corresponds to the first image data. As described above, the live composite image is subjected to trimming processing, subject extraction processing, compositing processing, and mirroring processing, so that the special image data and the second image data are also subjected to these four processings. .. As a result, it is possible to generate a moving image for a game that is flipped horizontally. Since the left-right inverted game moving image is the one reflected in the mirror, it is possible to provide the familiar figure of oneself as a moving image.

<3-2.編集処理部>
次に、編集処理部52について説明する。編集処理部54は、図15に示すように、編集を行う人数を選択するための画面を、タッチパネルディスプレイ31に表示する。この画面において、ユーザは、編集を行う人数が1人または2人のいずれかを選択する。そして、編集を行う人数が2人であれば、図16の編集用の画面がタッチパネルディスプレイ31に表示され、1人であれば、図示を省略するが、編集用の画面が1つだけ示された画面が表示される。
<3-2. Editing process>
Next, the editing processing unit 52 will be described. As shown in FIG. 15, the editing processing unit 54 displays a screen for selecting the number of people to be edited on the touch panel display 31. On this screen, the user selects either one or two people to edit. If the number of people to edit is two, the editing screen of FIG. 16 is displayed on the touch panel display 31, and if there is one person, the illustration is omitted, but only one editing screen is shown. Screen is displayed.

図16に示す画面は、画像処理部51により生成された合成静止画像に対して、編集を行う画面であり、中央に編集用の複数のスタンプが表示されたスタンプリスト804が配置されている。そして、その両側には、合成静止画像805が表示されている。これらは同じものである。ここで表示される合成静止画像は、作成された4枚の合成静止画像のうちの1つであるが、選択できるようにしてもよい。また、スタンプリストの下方には編集終了までの時間を示すカウントダウン表示が示されている。さらに、各合成静止画像805の下方には、編集用の複数の色のカラーペン806が示されている。 The screen shown in FIG. 16 is a screen for editing a composite still image generated by the image processing unit 51, and a stamp list 804 in which a plurality of stamps for editing are displayed is arranged in the center. A composite still image 805 is displayed on both sides thereof. These are the same. The composite still image displayed here is one of the four created composite still images, but it may be possible to select it. Further, at the bottom of the stamp list, a countdown display showing the time until the end of editing is shown. Further, below each composite still image 805, color pens 806 of a plurality of colors for editing are shown.

合成静止画像805の編集は、例えば、次のように行われる。ユーザが、いずれかのスタンプをタッチしてスタンプの選択を行った後、合成静止画像805のいずれかの位置をタッチすると、選択されたスタンプが、タッチされた位置に表示される。そして、他のスタンプが選択されるか、あるいは後述するカラーペン806が選択されるまでは、合成静止画像805をタッチする度に、その時点で選択されているスタンプが合成静止画像805に表示される。 Editing of the composite still image 805 is performed, for example, as follows. When the user touches any stamp to select the stamp and then touches any position of the composite still image 805, the selected stamp is displayed at the touched position. Then, until another stamp is selected or the color pen 806 described later is selected, each time the composite still image 805 is touched, the stamp selected at that time is displayed on the composite still image 805. To.

また、いずれかの色のカラーペン806をタッチして選択すると、ペンの色が設定され、その状態で、合成静止画像805上で指によって線や文字を描くと、選択された色の線や文字が合成静止画像805に表示される。そして、スタンプが選択されるか、あるいは他の色のカラーペン806が選択されるまでは、合成静止画像805に指で線を描く度に、その時点で選択されている色の線が合成静止画像805に表示される。 If you touch and select a color pen 806 of any color, the color of the pen is set, and if you draw a line or character with your finger on the composite still image 805 in that state, the line of the selected color or The characters are displayed on the composite still image 805. Then, until the stamp is selected or the color pen 806 of another color is selected, every time a line is drawn on the composite still image 805 with a finger, the line of the color selected at that time is composite still. It is displayed in the image 805.

以上のような編集処理部54の処理により、カウントダウン表示が0になるまで、ユーザは、編集処理を行うことができる。そして、カウントダウン表示が0になると、編集処理部54は、編集処理を終了し、合成静止画像に編集が施された後の編集画像を編集画像データとして記憶部6に記憶する。次に説明する出力処理部55による出力処理が行われる。 By the processing of the editing processing unit 54 as described above, the user can perform the editing process until the countdown display becomes 0. Then, when the countdown display becomes 0, the editing processing unit 54 ends the editing process and stores the edited image after the composite still image has been edited in the storage unit 6 as edited image data. Output processing is performed by the output processing unit 55 described below.

<3-3.出力処理部>
出力処理部55は、出力用画像が印刷されるシートのサンプルを表示する。上記のように、2人で編集を行った場合には、図17に示すように、複数のシートデザイン809が示され、ユーザがいずれかをタッチして選択できるようになっている。なお、OKボタンがタッチされるまで、また所定時間が経過するまでは、何回でもシートデザインを選択し直すことができる。各シートデザインには、生成された編集画像または合成静止画像のうちの複数が配置されており、シートのデザイン、画像のレイアウト、画像の輪郭、位置などが相違している。
<3-3. Output processing unit>
The output processing unit 55 displays a sample of the sheet on which the output image is printed. As described above, when editing is performed by two people, as shown in FIG. 17, a plurality of sheet designs 809 are shown, and the user can touch and select one of them. The seat design can be reselected as many times as necessary until the OK button is touched or the predetermined time elapses. A plurality of the generated edited image or the composite still image is arranged in each sheet design, and the sheet design, the layout of the image, the outline of the image, the position, and the like are different.

こうして、シートが決定すると、出力処理部55は、プリンタにより、シートを印刷する。シートの印刷の準備が始まってから、シートが取出口37から排出されるまでの間、出力処理部55は、遊戯用動画像をタッチディスプレイ31にて表示する。 When the sheet is determined in this way, the output processing unit 55 prints the sheet by the printer. From the start of preparation for printing the sheet to the time when the sheet is ejected from the take-out port 37, the output processing unit 55 displays the moving image for play on the touch display 31.

また、出力処理部55は、生成された静止画像用データ、編集画像データ、画像が配置されたシートの画像データ、及び遊戯用動画像データの少なくとも1つを出力することもできる。この場合、これらのデータを、ユーザの携帯端末に直接送信したり、あるいは外部サーバに送信後、当該外部サーバからユーザがインターネットを介して取得することもできる。 Further, the output processing unit 55 can also output at least one of the generated still image data, the edited image data, the image data of the sheet on which the image is arranged, and the game moving image data. In this case, these data may be transmitted directly to the user's mobile terminal, or may be transmitted to an external server and then acquired by the user from the external server via the Internet.

なお、本実施形態では、撮影装置100の各ソフトウェアモジュールがいずれも汎用のCPUにより実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のハードウェアプロセッサにより実現されてもよい。また、撮影装置100のソフトウェア構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。 In this embodiment, an example is described in which each software module of the photographing apparatus 100 is realized by a general-purpose CPU. However, some or all of the above software modules may be implemented by one or more dedicated hardware processors. Further, with respect to the software configuration of the photographing apparatus 100, the functions may be omitted, replaced, or added as appropriate according to the embodiment.

<4.撮影装置の動作例>
次に、図18を用いて、本実施形態に係る撮影装置100の動作例を説明する。図18は、プレイの手順を示すフローチャートである。
<4. Operation example of the shooting device>
Next, an operation example of the photographing apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 18 is a flowchart showing a play procedure.

決済処理の終了後、図6に示す画面をタッチパネルディスプレイ31に表示し、背景画像を選択させる(ステップS11)。背景画像が選択されると、図9に示す画面が表示され、撮影スタイルの選択が行われる(ステップS12)。次に、図10及び図11に示す画面が順に表示され、アップ画像及び全身画像の撮影が行われる(ステップS13)。この撮影が行われている間に、遊戯用動画像の生成も並行して行われる。 After the payment process is completed, the screen shown in FIG. 6 is displayed on the touch panel display 31 and a background image is selected (step S11). When the background image is selected, the screen shown in FIG. 9 is displayed, and the shooting style is selected (step S12). Next, the screens shown in FIGS. 10 and 11 are displayed in order, and a close-up image and a whole-body image are taken (step S13). While this shooting is being performed, a moving image for play is also generated in parallel.

こうして、撮影が完了すると、図15に示す画面において編集を行う人数の選択が行われた後、図16に示す編集用の画面がタッチパネルディスプレイに表示され、ユーザに編集用画像の編集を行わせる(ステップS14)。編集が終了すると、図17に示す画面がタッチパネルディスプレイに表示され、シートのレイアウトの選択が行われる(ステップS15)。こうして、シートのレイアウトが決定すると、出力処理部55はシートの印刷を開始する(ステップS16)。印刷が行われている間、タッチパネルディスプレイ31には、画像処理部51が生成した遊戯用動画像の少なくとも一部(遊戯用動画像のサムネイル、遊戯用動画像の存在をユーザに通知するための画像や文字等を含む)を、例えば、図19に示すように再生する(ステップS17)。このとき、スピーカ34による音声で、遊戯用動画像の存在をユーザに通知することもできる。そして、印刷が完了すると、取出口37からシートを排出するとともに、タッチパネルディスプレイ31に、印刷が完了した旨の記載を表示する(ステップS18)。 In this way, when the shooting is completed, after the number of people to be edited is selected on the screen shown in FIG. 15, the editing screen shown in FIG. 16 is displayed on the touch panel display, and the user is allowed to edit the editing image. (Step S14). When the editing is completed, the screen shown in FIG. 17 is displayed on the touch panel display, and the layout of the sheet is selected (step S15). When the layout of the sheet is determined in this way, the output processing unit 55 starts printing the sheet (step S16). While printing is being performed, the touch panel display 31 is used to notify the user of at least a part of the game moving image generated by the image processing unit 51 (thumbnail of the game moving image, presence of the game moving image). (Including images, characters, etc.) is reproduced, for example, as shown in FIG. 19 (step S17). At this time, it is also possible to notify the user of the existence of the moving image for play by the voice of the speaker 34. Then, when printing is completed, the sheet is ejected from the take-out port 37, and a description indicating that printing is completed is displayed on the touch panel display 31 (step S18).

<5.特徴>
以上のように、本実施形態によれば、以下の効果を得ることができる。
(1)この撮影装置100では、撮影処理を行っている間に遊戯用動画像の生成を行い、シートの印刷を行っている際に、この遊戯用動画像をタッチパネルディスプレイ31で再生するようにしている。遊戯用動画像を撮影していることは、ユーザには通知していないため、このことを、ユーザにとって、サプライズのサービスとすることができる。特に、遊戯用動画像で用いられる背景画像は、合成静止画像で用いられる背景画像とは異なるものであるため、作成される動画像の背景画像もユーザが見たことがないものである。したがって、この遊戯用動画像が、サプライズ用のサービスであることをより強調することができる。但し、遊戯用動画像の背景画像を、ユーザが選択した背景画像にすることもできる。
<5. Features>
As described above, according to the present embodiment, the following effects can be obtained.
(1) The photographing device 100 generates a moving image for a game during the photographing process, and reproduces the moving image for a game on the touch panel display 31 when printing a sheet. ing. Since the user is not notified that the moving image for play is being taken, this can be a surprise service for the user. In particular, since the background image used in the moving image for play is different from the background image used in the synthetic still image, the background image of the created moving image has never been seen by the user. Therefore, it can be further emphasized that this game video is a service for surprises. However, the background image of the moving image for play may be a background image selected by the user.

(2)本実施形態で用いられるカメラ32は、一眼レフカメラであるため、動画像用データの生成中に、静止画像用データを生成しようとすると、上述したように、動画像用データの欠落が生じる。すなわち、第1画像データと第2画像データの間に、所定時間の欠落が生じる。これに対して、本実施形態では、静止画像の撮影処理を行う前の第1画像データと、静止画像の撮影が完了した後の第2画像データとの間に、静止画像用データ、第1画像データ、及び第2画像データの少なくとも1つに基づいて生成される特別画像データが組み込まれ、第1画像データ、特別画像データ、及び第2画像データの順に再生される遊戯用動画像を生成する。したがって、第1画像データと第2画像データとの間の時間に入るべき動画像を、特別画像データによって補完するため、スムーズな動画像を提供することができる。 (2) Since the camera 32 used in the present embodiment is a single-lens reflex camera, if the still image data is to be generated during the generation of the moving image data, the moving image data is missing as described above. Occurs. That is, a predetermined time is missing between the first image data and the second image data. On the other hand, in the present embodiment, the still image data, the first, is between the first image data before the still image shooting process and the second image data after the still image shooting is completed. The image data and the special image data generated based on at least one of the second image data are incorporated, and the first image data, the special image data, and the second image data are reproduced in this order to generate a moving image for play. do. Therefore, since the moving image that should enter the time between the first image data and the second image data is complemented by the special image data, a smooth moving image can be provided.

(3)静止画像の撮影時には、ストロボではなく、LEDの照明を用いているため、ストロボの映り込みがない第1画像データ及び第2画像データを生成することができる。 (3) Since LED lighting is used instead of the strobe when shooting a still image, it is possible to generate first image data and second image data without reflection of the strobe.

<6.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。なお、以下で示す変形例は、適宜組み合わせ可能である。
<6. Modification example>
Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention. The modifications shown below can be combined as appropriate.

<6.1>
上記実施形態で示したタッチパネルディスプレイ31に表示される画面は一例であり、画面のレイアウト、表示する内容は、適宜変更することができる。また、編集においては、スタンプ、カラーペンを設けているが、その他の編集ツールを適宜設けることもできる。
<6.1>
The screen displayed on the touch panel display 31 shown in the above embodiment is an example, and the layout of the screen and the contents to be displayed can be appropriately changed. In addition, although stamps and color pens are provided for editing, other editing tools can also be provided as appropriate.

<6.2>
背景画像の数、編集スタンプやカラーペンの数のほか、編集時間、撮影される写真の枚数、選択できるシートのレイアウトなど、種々の制限を設けることができる。また、編集プレイは必ずしも必要ではなく、撮影処理後に出力処理を行うこともできる。
<6.2>
In addition to the number of background images, editing stamps and color pens, various restrictions can be set such as editing time, number of photographs to be taken, and selectable sheet layout. In addition, editing play is not always necessary, and output processing can be performed after shooting processing.

<6.3>
上記実施形態では、遊戯用動画像は、出力処理の際に再生、通知されているが、これに限定されず、撮影処理中、編集処理中に再生、通知することもできる。
<6.3>
In the above embodiment, the moving image for play is reproduced and notified at the time of output processing, but the present invention is not limited to this, and the moving image for play can be reproduced and notified during the shooting process and the editing process.

<6.4>
上記実施形態のように、一種類の遊戯用動画像を再生するだけではなく、1つの画面において複数の遊戯用動画像が再生されるようにしてもよい。上記実施形態では、4回の撮影があるので、4種類の遊戯用動画像が生成される。これら4種類の動画像を並べて表示・再生することができる。
<6.4>
As in the above embodiment, not only one kind of game moving image may be reproduced, but also a plurality of game moving images may be reproduced on one screen. In the above embodiment, since there are four shots, four types of moving images for play are generated. These four types of moving images can be displayed and played side by side.

また、動画コラージュをタッチディスプレイ31に表示することができる。例えば、図20に示すように、複数の遊戯用動画像の再生用のウインドウを有する画面を生成することができる。この場合、(1)複数のウインドウの形状、(2)各ウインドウで再生される動画像を、適宜変更することができる。例えば、各ウインドウで再生される動画像は同じであるが、複数のウインドウの形状の少なくとも1つが相違するように画面を構成することができる。あるいは、各ウインドウの形状は同じであるが、少なくとも1つが異なる動画像が再生されるような画面を構成することができる。具体的には上記実施形態では、4枚の静止画を撮影したため、4種類の異なる遊戯用動画像を生成可能である。これら4種類の異なる遊戯用動画像を、所定の動画テンプレートに合成して1つの新たな遊戯用動画像を生成することもできるし、4種類のうちの1種類の遊戯用動画像を複数用いて、所定の動画テンプレートに合成して1つの新たな遊戯用動画像を生成することもできる。 Further, the moving image collage can be displayed on the touch display 31. For example, as shown in FIG. 20, it is possible to generate a screen having a plurality of windows for reproducing a moving image for play. In this case, (1) the shape of a plurality of windows and (2) the moving image played in each window can be changed as appropriate. For example, the moving image reproduced in each window is the same, but the screen can be configured so that at least one of the shapes of the plurality of windows is different. Alternatively, it is possible to configure a screen in which at least one different moving image is reproduced, although the shape of each window is the same. Specifically, in the above embodiment, since four still images are taken, it is possible to generate four different types of moving images for play. It is also possible to combine these four different types of moving images for playing into a predetermined video template to generate one new moving image for playing, or to use a plurality of moving images for playing one of the four types. Then, it is possible to generate one new moving image for a game by synthesizing it with a predetermined moving image template.

<6.5>
上記実施形態では、静止画像用データと動画像用データを1つのカメラ32で生成しているが、これらを異なるカメラで生成することもできる。すなわち、2つのカメラを設けることもできる。また、一眼レフ以外のカメラを用いることもでき、ミラーレスの一眼レフカメラ、webカメラを用いることもできる。
<6.5>
In the above embodiment, the still image data and the moving image data are generated by one camera 32, but these can also be generated by different cameras. That is, two cameras can be provided. Further, a camera other than the single-lens reflex camera can be used, and a mirrorless single-lens reflex camera and a web camera can also be used.

なお、webカメラやミラーレスカメラを用いたり、2つのカメラを用いると、静止画像の撮影中にも動画像を撮影できるため、第1画像データと第2画像データとの間にデータの欠落が生じないようにすることができる。すなわち、第1画像データと2画像データとを特段区別しない一連の動画像用データが生成される。しかしながら、このような場合でも特別画像データを生成し、これを第1画像データと第2画像データとの間に組み込んで動画像用データを生成することができる。一般的に、静止画像用データは、動画像用データに比べて画素数が多いため、画像の質が高い。例えば、トリミングを行ったとしても、画質を維持できる。したがって、静止画像用データに対しては、動画像用データと比べ種々の画像処理を施すことができる。よって、このような質が高く、また種々の画像処理を施すことが可能な静止画像に基づく特別画像データを用いると、遊戯用動画像の質を高めることができる。 If a web camera or a mirrorless camera is used, or if two cameras are used, a moving image can be taken even while a still image is being taken, so that there is a lack of data between the first image data and the second image data. It can be prevented from occurring. That is, a series of moving image data that does not particularly distinguish between the first image data and the second image data is generated. However, even in such a case, special image data can be generated and incorporated between the first image data and the second image data to generate moving image data. In general, the still image data has a larger number of pixels than the moving image data, so that the image quality is high. For example, even if trimming is performed, the image quality can be maintained. Therefore, various image processing can be applied to the still image data as compared with the moving image data. Therefore, the quality of the moving image for play can be improved by using the special image data based on the still image which has such high quality and can be subjected to various image processing.

<6.6>
上記実施形態では、LEDを内蔵する照明ユニット33を用いているが、ストロボが内蔵された照明ユニットを用いることもできる。この場合、静止画の撮影時にストロボの光が動画像に対して映り込むおそれがあるが、ストロボの光が映り込むおそれのある発光時間帯の前後に、第1画像データ及び第2画像データを生成し、この発光時間帯に対応する特別画像データを上記のように生成すれば、ストロボの光が映り込まない動画像用データを生成することができる。なお、ストロボが発光する時間帯は静止画撮影のシャッターが切られるタイミングであるので、シャッターを有するカメラを用いればこのときの動画像用データは欠損する。
<6.6>
In the above embodiment, the lighting unit 33 having a built-in LED is used, but a lighting unit having a built-in strobe can also be used. In this case, the strobe light may be reflected on the moving image when the still image is taken, but the first image data and the second image data are displayed before and after the light emission time zone in which the strobe light may be reflected. If the special image data corresponding to this light emission time zone is generated as described above, it is possible to generate moving image data in which the strobe light is not reflected. Since the time zone in which the strobe emits light is the timing at which the shutter for still image shooting is released, if a camera having a shutter is used, the moving image data at this time will be lost.

したがって、本発明においては、照明の種類によらず、強い光の映り込みを抑制できる動画像用データを生成することができる。なお、照明ユニット33における光源は、撮影用及びその他の通常の照明用に、上述したLED及びストロボのほか、白熱灯、HID、水銀灯等の少なくとも1つを用いることができる。 Therefore, in the present invention, it is possible to generate moving image data that can suppress the reflection of strong light regardless of the type of illumination. As the light source in the lighting unit 33, at least one such as an incandescent lamp, an HID, and a mercury lamp can be used in addition to the above-mentioned LED and strobe for photography and other ordinary lighting.

<6.7>
上記実施形態に係る撮影装置100は、概ね閉じた撮影空間10を有しているが、タッチパネルディスプレイ31、カメラ32、照明ユニット33、スピーカ34、プリンタ35、及び決済処理部36が設けられた撮影ユニット3のみで撮影装置100を構成し、撮影ユニット3が外部に開放されるよう構成することができる。この場合、クロマキー処理のためのカーテンがないため、ユーザの背後には撮影装置100が配置される屋内または屋外の景色が広がる。
<6.7>
The photographing apparatus 100 according to the above embodiment has a substantially closed photographing space 10, but is provided with a touch panel display 31, a camera 32, a lighting unit 33, a speaker 34, a printer 35, and a payment processing unit 36. The photographing device 100 can be configured only by the unit 3, and the photographing unit 3 can be configured to be open to the outside. In this case, since there is no chroma key processing curtain, the indoor or outdoor scenery in which the photographing apparatus 100 is arranged spreads behind the user.

そして、このような撮影装置100においても、背景画像と合成した合成静止画像、遊戯用動画像、またはライブ合成動画を生成するために、撮影画像から被写体のみを抽出する必要があるが、クロマキー処理用のカーテンがないため、例えば、撮影装置100が屋外に設置された場合には、屋内または屋外の景色のほか、被写体以外の通行人が撮影画像において被写体の背後に写り込む場合があるため、これらを除くような公知の画像処理を撮影画像に施して被写体を抽出する必要がある。この場合、被写体と通行人とは、カメラ32に対する顔の向き、顔の大きさ、カメラ32からの距離が相違するため、このような相違をもとに被写体と通行人とを区別し、被写体のみを撮影画像から抽出することができる。このとき、カメラ32からの距離は、被写界深度を算出したり、あるいは距離画像センサ、赤外線センサといったデバイスを設けることで、算出することができる。また、撮影装置100が設置されている地面に枠を描くことで、撮影ユニット3に対するユーザの立ち位置の範囲を制限することができ、このようにすると被写体と通行人とをより正確に区別することができる。さらに、撮影画像からの被写体の抽出を機械学習により行うこともできる。 Even in such a shooting device 100, it is necessary to extract only the subject from the shot image in order to generate a composite still image, a game moving image, or a live composite moving image combined with the background image, but chroma key processing is performed. Because there is no curtain for the image, for example, when the photographing device 100 is installed outdoors, a passerby other than the subject may be reflected behind the subject in the photographed image in addition to the indoor or outdoor scenery. It is necessary to apply known image processing such as excluding these to the captured image to extract the subject. In this case, since the direction of the face with respect to the camera 32, the size of the face, and the distance from the camera 32 are different between the subject and the passerby, the subject and the passerby are distinguished based on such differences. Only can be extracted from the captured image. At this time, the distance from the camera 32 can be calculated by calculating the depth of field or by providing a device such as a distance image sensor or an infrared sensor. Further, by drawing a frame on the ground where the photographing device 100 is installed, the range of the user's standing position with respect to the photographing unit 3 can be limited, and in this way, the subject and the passerby can be distinguished more accurately. be able to. Further, it is also possible to extract the subject from the captured image by machine learning.

このように撮影空間10を外部に開放し、密な空間での撮影が行われないような撮影装置100であっても、被写体と背景画像とを合成した静止画像用データや動画像用データを生成することができる。 Even in the photographing device 100 in which the photographing space 10 is opened to the outside and the photographing is not performed in a dense space, the still image data and the moving image data obtained by synthesizing the subject and the background image can be obtained. Can be generated.

<6.8>
上記実施形態では、指によるタッチ操作で、タッチパネルディスプレイ31に入力を行っているが、例えば、電子ペンにより入力を行うこともできる。あるいは物理的なボタン等の入力部を設けて入力を行うこともできる。
<6.8>
In the above embodiment, input is performed on the touch panel display 31 by a touch operation with a finger, but input can also be performed using an electronic pen, for example. Alternatively, input can be performed by providing an input unit such as a physical button.

<6.9>
上記実施形態では、撮影された画像と背景画像とを合成しているが、背景画像のほか、前景画像であってもよく、撮影された画像を装飾するような画像であればよい。また、編集プレイにおいては、合成された編集用画像を編集しているが、これに限定されず、合成を行っていない撮影された画像、またはそれをトリミング等のわずかな加工を施した画像に、編集を行ってもよい。
<6.9>
In the above embodiment, the captured image and the background image are combined, but in addition to the background image, a foreground image may be used, and any image that decorates the captured image may be used. Also, in the editing play, the combined editing image is edited, but it is not limited to this, and it is not limited to this, but it is a photographed image that has not been combined, or an image that has been slightly processed such as trimming. , May be edited.

<6.10>
上記実施形態では、撮影装置100によって上述した全ての処理を行っているが、これに限定されない。例えば、図21には、上記実施形態で示した撮影装置100を含む撮影システムを示しているが、撮影装置100を、インターネットなどのネットワーク400を介して、画像提供サーバ200及びユーザの携帯端末300と接続することができる。例えば、主としてカメラ32による被写体の撮影及びタッチパネルディスプレイ31への表示に係る処理(少なくとも本発明の動画像撮影部及び静止画像撮影部による処理)を撮影装置で行い、その他の処理(例えば、遊戯用動画像の生成等、上述した画像処理部51の一部)を画像提供サーバ及びユーザの携帯端末300の少なくとも一方で行うことができる。ユーザの携帯端末300を用いる場合には、例えば、専用のアプリケーションを予めインストールしておき、このアプリケーションにより、上述したその他の処理を行うことができる。以上の後世の場合、本発明に係る撮影システムの画像処理部は、画像提供サーバ200及び携帯端末300の少なくとも一方が有することになる。
<6.10>
In the above embodiment, all the above-mentioned processes are performed by the photographing apparatus 100, but the present invention is not limited to this. For example, FIG. 21 shows a photographing system including the photographing apparatus 100 shown in the above embodiment, but the photographing apparatus 100 is connected to the image providing server 200 and the user's mobile terminal 300 via a network 400 such as the Internet. Can be connected to. For example, processing mainly related to shooting a subject by the camera 32 and displaying on the touch panel display 31 (at least processing by the moving image shooting unit and the still image shooting unit of the present invention) is performed by the shooting device, and other processing (for example, for amusement) is performed. A part of the above-mentioned image processing unit 51) such as generation of a moving image can be performed on at least one of the image providing server and the user's mobile terminal 300. When the user's mobile terminal 300 is used, for example, a dedicated application can be installed in advance, and the above-mentioned other processing can be performed by this application. In the case of the above posterity, at least one of the image providing server 200 and the mobile terminal 300 has the image processing unit of the photographing system according to the present invention.

例えば、第1画像データ、第2画像データ、静止画像用データ、背景画像、及びコラージュのベースとなるデータ、つまり遊戯用動画像を生成するためのすべてのデータを撮影装置100から受信し、画像提供サーバ200や携帯端末300において、遊戯用動画像データを作成する。この場合、第1画像データ、第2画像データ、静止画像用データにクロマキー処理が施されていない場合には、さらにクロマキー情報(マスク画像)及びトリミング範囲を示す情報を受信する必要がある。そして、画像提供サーバ200や携帯端末300では、クロマキー処理、背景画像の合成、トリミング等の画像処理を合わせて行い、遊戯用動画像を生成する。 For example, the first image data, the second image data, the still image data, the background image, and the collage base data, that is, all the data for generating the game moving image are received from the photographing device 100, and the image is taken. On the providing server 200 and the mobile terminal 300, moving image data for a game is created. In this case, when the chroma key processing is not applied to the first image data, the second image data, and the still image data, it is necessary to further receive chroma key information (mask image) and information indicating the trimming range. Then, the image providing server 200 and the mobile terminal 300 also perform image processing such as chroma key processing, background image composition, and trimming to generate a moving image for play.

あるいは、背景画像及びコラージュのベースとなるデータは、予め画像提供サーバ200や携帯端末300に保存しておき、第1画像データ、第2画像データ、及び静止画像用データを、撮影装置100から受信する。そして、受信したデータに基づき、サーバ200や携帯端末300において遊戯用動画像の生成を行う。 Alternatively, the background image and the data that are the base of the collage are stored in advance in the image providing server 200 or the mobile terminal 300, and the first image data, the second image data, and the still image data are received from the photographing device 100. do. Then, based on the received data, the server 200 and the mobile terminal 300 generate a moving image for play.

<6.11>
遊戯用動画像を生成するに当たっては、再生時間を短縮するため、第1画像データ及び第2画像データの全てを用いず、一部を用いることもできる。この場合、第1画像データ及び第2画像データと、特別画像データと、のつなぎ目で遊戯用動画像の被写体が不自然な動きとならないようにするためには、第1画像データの前半部及び/または第2画像データの後半部を用いずに遊戯用動画を生成することが好ましい。また、第1画像データ及び第2画像データの一部をある一定間隔で間引いたものを使用することも可能である。そうすることで、フレームレートを下げた動画などを作成することができ、被写体がカクカク動く面白い動画を作成することができる。このような一部が間引かれた第1画像データ及び第2画像データも、それぞれ第1画像データ及び第2画像データと称する。
<6.11>
In generating the moving image for play, in order to shorten the reproduction time, it is possible to use a part of the first image data and the second image data instead of using all of them. In this case, in order to prevent the subject of the moving image for play from moving unnaturally at the joint between the first image data, the second image data, and the special image data, the first half of the first image data and / Or it is preferable to generate a game moving image without using the latter half of the second image data. It is also possible to use a part of the first image data and the second image data thinned out at regular intervals. By doing so, it is possible to create a video with a reduced frame rate, and it is possible to create an interesting video in which the subject moves jerky. Such partially thinned first image data and second image data are also referred to as first image data and second image data, respectively.

<6.12>
以上の説明では、遊戯用動画像データの生成に、第1画像データ、特別画像データ、及び第2画像データを用いているが、これら3つのデータをすべて使用せず、例えば、第1画像データ及び特別画像データをこの順で再生するように遊戯用動画像データを生成したり、あるいは特別画像データ及び第2画像データをこの順で再生するような遊戯用動画像データを生成することもできる。したがって、この観点からすると、本発明に係る動画像用データは、第1画像データ及び第2画像データの少なくとも一方が含まれていればよい。したがって、カメラ32(本発明の動画像取得部の少なくとも一部)は、例えば、第1画像データのみ、または第2画像データのみを取得することもできる。
<6.12>
In the above description, the first image data, the special image data, and the second image data are used to generate the moving image data for play, but all three data are not used, for example, the first image data. And, it is also possible to generate game video data so as to reproduce the special image data in this order, or to generate game video data such as to reproduce the special image data and the second image data in this order. .. Therefore, from this point of view, the moving image data according to the present invention may include at least one of the first image data and the second image data. Therefore, the camera 32 (at least a part of the moving image acquisition unit of the present invention) can acquire, for example, only the first image data or only the second image data.

<6.13>
上記の実施形態では合成静止画像、ライブ合成動画及び遊戯用動画像のトリミングの範囲をユーザに選ばせているが、自動で決定することも可能である。例えば、第1画像データの取得よりも前に動画撮影を開始し、その動画を用いて、ユーザの人数や構成(身長、年齢、性別)を分析し、その結果に応じたトリミング範囲を、各撮影ごとに設定することもできる。
<6.13>
In the above embodiment, the user is allowed to select the range of trimming of the composite still image, the live composite moving image, and the moving image for play, but it is also possible to automatically determine the trimming range. For example, video recording is started before the acquisition of the first image data, the number and composition (height, age, gender) of users are analyzed using the video, and the trimming range according to the result is set for each. It can also be set for each shooting.

<6.14>
合成静止画像、ライブ合成動画像及び遊戯用動画像に対し、顔に関する画像処理(目の拡大、小顔等)や、肌をきれいに見せる画像処理、足を長く見せる画像処理などを追加で施すこともできる。これらの画像処理は、ユーザに選ばせるようにしてもよいし、予め決められたものを適用するようにしてもよい。
<6.14>
Image processing related to the face (enlargement of eyes, small face, etc.), image processing that makes the skin look beautiful, image processing that makes the legs look longer, etc. are additionally applied to the composite still image, live composite video, and game video. You can also. These image processes may be selected by the user, or may be applied to a predetermined one.

<6.15>
動画像用データ及び/または静止画像用データ(元データ)を用いてディープフェイク動画を作成し、それを遊戯用動画像として提供することもできる。具体的には、元データを用いて、元データに含まれる各ユーザの特徴(喜怒哀楽の表情、年齢、性別、国籍等)を検出し、予め用意してある動画テンプレートのモデルの顔の表情に合致するように、当該モデルの顔に変えてユーザの顔を合成することで、ディープフェイク動画を生成する。ユーザが複数いる場合は、ユーザの年齢や性別国籍等に応じて、各ユーザの顔を動画テンプレートのどのモデルに合成するかを決定する。遊園地などの施設の場合は、キャラクターとキャスト(パフォーマー等)のパレードの動画を動画テンプレートとして用意しておき、キャストの顔をユーザの顔と入れ替えた遊戯用動画像を作成することもできる。なお、ディープフェイク動画の精度を向上させるため、それ専用の撮影を行ってもよい。
<6.15>
It is also possible to create a deepfake moving image using the moving image data and / or the still image data (original data) and provide it as a game moving image. Specifically, the original data is used to detect the characteristics of each user (facial expressions of emotions, age, gender, nationality, etc.) included in the original data, and the face of the model of the video template prepared in advance. A deepfake movie is generated by synthesizing the user's face instead of the model's face so as to match the facial expression. When there are a plurality of users, it is determined which model of the video template the face of each user is combined with according to the age, gender, nationality, etc. of the user. In the case of facilities such as amusement parks, it is also possible to prepare a video of a parade of characters and casts (performers, etc.) as a video template, and create a moving image for play in which the face of the cast is replaced with the face of the user. In addition, in order to improve the accuracy of the deepfake moving image, a dedicated shooting may be performed.

31…タッチパネルディスプレイ(表示部)
32…カメラ(静止画像撮影部、動画像撮影部)
51…画像処理部
31 ... Touch panel display (display unit)
32 ... Camera (still image shooting unit, moving image shooting unit)
51 ... Image processing unit

Claims (8)

第1画像データ及び第2画像データの少なくとも一方を含む動画像用データを取得する動画像撮影部と、
静止画像用データを取得する静止画像撮影部と、
編集動画像を生成する画像処理部と、
を備え、
前記動画像撮影部は、
前記動画像用データに第1画像データが含まれる場合、前記静止画像用データの取得前に前記第1画像データを取得し、前記動画像用データに第2画像データが含まれる場合、前記静止画像用データの取得後に前記第2画像データを取得し、
前記画像処理部は、
前記静止画像用データ、前記第1画像データ、または前記第2画像データの少なくとも1つに基づいて生成される、特別画像データを取得し、
前記第1画像データ、前記特別画像データ、及び前記第2画像データの順、前記第1画像データ、及び前記特別画像データの順、又は前記特別画像データ、及び前記第2画像データの順で再生される前記編集動画像の少なくとも一部を表示させる、
撮影装置。
A moving image photographing unit that acquires moving image data including at least one of the first image data and the second image data, and a moving image photographing unit.
A still image shooting unit that acquires still image data, and
The image processing unit that generates the edited moving image and
Equipped with
The moving image photographing unit is
When the moving image data includes the first image data, the first image data is acquired before the still image data is acquired, and when the moving image data includes the second image data, the still image data is acquired. After acquiring the image data, the second image data is acquired, and the image data is acquired.
The image processing unit
Acquire special image data generated based on at least one of the still image data, the first image data, or the second image data.
Playback in the order of the first image data, the special image data, and the second image data, the first image data, and the special image data, or the special image data, and the second image data in that order. Display at least a part of the edited moving image to be performed,
Shooting equipment.
前記特別画像データは、
前記第1画像データのうち、前記静止画像用データの取得前の所定時間内に取得された後部画像データ、
前記第2画像データのうち、前記静止画像用データの取得後の所定時間内に取得された前部画像データ、及び
前記静止画像用データ、
の少なくとも1つに画像処理を施すことで、生成される、
請求項1に記載の撮影装置。
The special image data is
Of the first image data, the rear image data acquired within a predetermined time before the acquisition of the still image data,
Of the second image data, the front image data acquired within a predetermined time after the acquisition of the still image data, and the still image data.
Generated by applying image processing to at least one of
The photographing apparatus according to claim 1.
前記動画像撮影部は、取得開始指示を受けた後、取得終了指示を受けるまでの間に、前記第1画像データ及び前記第2画像データを含む前記動画像用データを取得する、
請求項1または2に記載の撮影装置。
The moving image photographing unit acquires the moving image data including the first image data and the second image data after receiving the acquisition start instruction and before receiving the acquisition end instruction.
The photographing apparatus according to claim 1 or 2.
被写体に光を照射する照明部をさらに備え、
前記画像処理部は、少なくとも、前記動画像用データの取得中には、所定の明るさ以上の光を継続して出力するように、前記照明部を制御する、
請求項1から3のいずれかに記載の撮影装置。
It also has a lighting unit that illuminates the subject.
The image processing unit controls the lighting unit so as to continuously output light having a predetermined brightness or higher, at least during the acquisition of the moving image data.
The photographing apparatus according to any one of claims 1 to 3.
表示部をさらに備え、
前記画像処理部は、
少なくとも前記動画像用データに基づく表示用動画を、被写体を写すライブ動画として前記表示部に表示し、
前記静止画像用データが取得されるタイミングで、前記表示用動画に代わって、所定の演出が施された演出静止画または演出動画を前記表示部に表示する、
請求項1から4のいずれかに記載の撮影装置。
With more display
The image processing unit
At least a display moving image based on the moving image data is displayed on the display unit as a live moving image showing the subject.
At the timing when the still image data is acquired, instead of the display moving image, an effect still image or an effect moving image to which a predetermined effect is applied is displayed on the display unit.
The photographing apparatus according to any one of claims 1 to 4.
動画像用の第1画像データ及び第2画像データの少なくとも1つと、静止画像用データとを取得するステップであって、
前記第1画像データが取得される場合には、前記第1画像データの取得後に、前記静止画像用データを取得し、前記第2画像データが取得される場合には、前記静止画像用データの取得後に、前記第2画像データを取得するステップと、
前記静止画像用データ、前記第1画像データ、または前記第2画像データの少なくとも1つに基づいて生成される、特別画像データを取得するステップと、
前記第1画像データ、前記特別画像データ、及び前記第2画像データの順、前記第1画像データ、及び前記特別画像データの順、又は前記特別画像データ、及び前記第2画像データの順で再生される前記動画像を生成するステップと、
を備えている、画像生成方法。
It is a step of acquiring at least one of the first image data and the second image data for a moving image and data for a still image.
When the first image data is acquired, the still image data is acquired after the first image data is acquired, and when the second image data is acquired, the still image data is acquired. After the acquisition, the step of acquiring the second image data and
A step of acquiring special image data generated based on at least one of the still image data, the first image data, or the second image data.
Playback in the order of the first image data, the special image data, and the second image data, the first image data, and the special image data, or the special image data, and the second image data in that order. And the step of generating the moving image to be
Is equipped with an image generation method.
コンピュータに、
動画像用の第1画像データ及び第2画像データの少なくとも1つと、静止画像用データと、を取得するステップであって、
前記第1画像データが取得される場合には、前記第1画像データの取得後に、前記静止画像用データを取得し、前記第2画像データが取得される場合には、前記静止画像用データの取得後に、前記第2画像データを取得するステップと、
前記静止画像用データ、前記第1画像データ、または前記第2画像データの少なくとも1つに基づいて生成される、特別画像データを取得するステップと、
前記第1画像データ、前記特別画像データ、及び前記第2画像データの順、前記第1画像データ、及び前記特別画像データの順、又は前記特別画像データ、及び前記第2画像データの順で再生される前記動画像を取得するステップと、
を実行させる、画像生成プログラム。
On the computer
It is a step of acquiring at least one of the first image data and the second image data for a moving image and data for a still image.
When the first image data is acquired, the still image data is acquired after the first image data is acquired, and when the second image data is acquired, the still image data is acquired. After the acquisition, the step of acquiring the second image data and
A step of acquiring special image data generated based on at least one of the still image data, the first image data, or the second image data.
Playback in the order of the first image data, the special image data, and the second image data, the first image data, and the special image data, or the special image data, and the second image data in that order. The step of acquiring the moving image to be performed, and
An image generation program that runs.
撮影装置と、
編集動画像を生成する画像処理部と、
を備え、
前記撮影装置は、
第1画像データ及び第2画像データの少なくとも一方を含む動画像用データを取得する動画像撮影部と、
静止画像用データを取得する静止画像撮影部と、
を備え、
前記動画像撮影部は、
前記動画像用データに第1画像データが含まれる場合、前記静止画像用データの取得前に前記第1画像データを取得し、前記動画像用データに第2画像データが含まれる場合、前記静止画像用データの取得後に前記第2画像データを取得し、
前記画像処理部は、
前記静止画像用データ、前記第1画像データ、または前記第2画像データの少なくとも1つに基づいて、特別画像データを生成し、
前記第1画像データ、前記特別画像データ、及び前記第2画像データの順、前記第1画像データ、及び前記特別画像データの順、又は前記特別画像データ、及び前記第2画像データの順で再生する編集動画像を生成する
撮影システム。
With the shooting equipment
The image processing unit that generates the edited moving image and
Equipped with
The photographing device is
A moving image photographing unit for acquiring moving image data including at least one of a first image data and a second image data, and a moving image photographing unit.
A still image shooting unit that acquires still image data, and
Equipped with
The moving image photographing unit is
When the moving image data includes the first image data, the first image data is acquired before the still image data is acquired, and when the moving image data includes the second image data, the still image data is acquired. After acquiring the image data, the second image data is acquired, and the image data is acquired.
The image processing unit
Special image data is generated based on at least one of the still image data, the first image data, or the second image data.
Playback in the order of the first image data, the special image data, and the second image data, the first image data, and the special image data, or the special image data, and the second image data in that order. Editing A shooting system that generates moving images.
JP2020170189A 2020-10-07 2020-10-07 Photographing device, image forming method, image forming program, and photographing system Pending JP2022061920A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020170189A JP2022061920A (en) 2020-10-07 2020-10-07 Photographing device, image forming method, image forming program, and photographing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020170189A JP2022061920A (en) 2020-10-07 2020-10-07 Photographing device, image forming method, image forming program, and photographing system

Publications (1)

Publication Number Publication Date
JP2022061920A true JP2022061920A (en) 2022-04-19

Family

ID=81210623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020170189A Pending JP2022061920A (en) 2020-10-07 2020-10-07 Photographing device, image forming method, image forming program, and photographing system

Country Status (1)

Country Link
JP (1) JP2022061920A (en)

Similar Documents

Publication Publication Date Title
JP5970026B2 (en) Photo sticker creation device
JP2021078133A (en) Imaging device for gaming, image processing device, and image processing method
JP2015210397A (en) Photographic seal creation device
JP6418444B2 (en) Photo sticker creating apparatus and image providing method
JP5668885B1 (en) Photo sticker making apparatus and photo sticker making method
JP2018023069A (en) Game player for creating photograph and display method
JP2018197883A (en) Picture seal creation device
JP2022061920A (en) Photographing device, image forming method, image forming program, and photographing system
JP5076911B2 (en) Image photographing and editing apparatus and method, and program
JP2008046491A (en) Photographic sticker forming device, control method for photographic sticker forming device and control program for photographic sticker forming device
JP5682803B1 (en) Photo sticker making apparatus and photo sticker making method
JP2004159158A (en) Method and device for providing photographic print
JP7132492B2 (en) Image processing device, display control method, and program
JP5700267B1 (en) Photo sticker making apparatus and photo sticker making method
JP6201397B2 (en) Photo sticker creation apparatus and method, and program
JP2004021182A (en) Apparatus, method, and program for picking and editing image
JP6820478B2 (en) Imaging device
JP5692448B1 (en) Photo sticker making apparatus and photo sticker making method
JP5850281B2 (en) Photo sticker creation device
JP6183721B2 (en) Photography game machine and control program
JP6414276B2 (en) Photo sticker creation apparatus and method, and program
JP2009164904A (en) Photographic sticker forming device and method, and program
JP2008046490A (en) Photographic seal making apparatus
JP6295936B2 (en) Photo sticker creating apparatus and image processing method
JP6618250B2 (en) Photo sticker making apparatus and photo sticker making method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231003