JP2013003412A - Automatic photograph creation device, automatic photograph creation method and program - Google Patents
Automatic photograph creation device, automatic photograph creation method and program Download PDFInfo
- Publication number
- JP2013003412A JP2013003412A JP2011135633A JP2011135633A JP2013003412A JP 2013003412 A JP2013003412 A JP 2013003412A JP 2011135633 A JP2011135633 A JP 2011135633A JP 2011135633 A JP2011135633 A JP 2011135633A JP 2013003412 A JP2013003412 A JP 2013003412A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- background image
- background
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、自動写真作成装置、自動写真作成方法およびプログラムに関し、さらに詳しくは、利用者をカメラで撮影し、その撮影画像に基づき生成される合成画像を写真等として出力する自動写真作成装置、自動写真作成方法およびプログラムに関する。 The present invention relates to an automatic photo creation device, an automatic photo creation method, and a program, and more specifically, an automatic photo creation device that takes a user with a camera and outputs a composite image generated based on the taken image as a photograph, The present invention relates to an automatic photo creation method and program.
従来、利用者をカメラで撮影し、その撮影画像を写真シールや写真カード等として出力する遊戯用写真作成装置が知られている。このような遊戯用写真作成装置は、遊戯性または娯楽性が高いことから、撮影画像と合成すべき画像を、利用者の嗜好に応じて、予め用意された多種多様な背景画像および前景画像から選択したり、タッチペンを用いて利用者が自由に描いたりできるように構成されているものが多い。利用者によるこのような操作は、撮影画像に対してなされるため、「落書き」と呼ばれる。 2. Description of the Related Art Conventionally, there is known a photo creation device for a game in which a user is photographed with a camera and the photographed image is output as a photo sticker or a photo card. Such a play photo creation device is highly playable or entertaining, and therefore, an image to be combined with a photographed image is prepared from a variety of background images and foreground images prepared in advance according to the user's preference. Many are configured so that a user can select or draw freely using a touch pen. Since such an operation by the user is performed on the photographed image, it is called “graffiti”.
また、このような遊戯用写真作成装置において使用される背景画像は、通常は予め用意された1枚の(変化しない)静止画像であるが、時間と共に変化する動画像を背景として利用者の像と合成して表示し、撮影時点で表示される動画像に相当する静止画像を背景画像として利用者の像と合成する自動写真作成装置もある(例えば特許文献1を参照)。このように変化する背景画像を使用することにより、装置の遊戯性がより向上する。 In addition, the background image used in such a game photo creation device is usually a single (non-changing) still image prepared in advance, but a user's image with a moving image changing with time as a background. There is also an automatic photo creation device that combines and displays a still image corresponding to a moving image displayed at the time of shooting with a user's image as a background image (see, for example, Patent Document 1). By using the background image that changes in this way, the playability of the device is further improved.
しかし、上記公報に記載の構成では、動画像が再生されることにより背景が生成されるため、当該背景は、基本的には時間と共に予め定められた変化しか生じない。そのため、当該背景から利用者が得られる臨場感などの遊戯性は、当該動画像の内容によって引き起こされる(体感される)ことによって得られる範囲内にとどまる。 However, in the configuration described in the above publication, since a background is generated by reproducing a moving image, the background basically changes only in advance with time. Therefore, the playability such as a sense of presence that the user can obtain from the background remains within the range obtained by being caused (experienced) by the content of the moving image.
この点、背景画像が利用者の操作等に応じて移動する(典型的には横スクロールする)ように構成すれば、時間と共に予め定められた変化をするわけではないので、装置の遊戯性はより向上する。しかし、画像の変化する範囲は、予め定められたデータに基づく範囲内にとどまるため意外性は大きいとは言えず、特に横スクロールするなどの態様によって背景画像が変化することにより利用者が得られる立体感や臨場感などの遊戯性は大きいとは言えない。 In this regard, if the background image is configured to move according to the user's operation (typically horizontal scrolling), it does not change in advance with time, so the playability of the device is More improved. However, since the range in which the image changes remains within the range based on the predetermined data, it cannot be said that the unexpectedness is large. In particular, the user can be obtained by changing the background image according to a mode such as horizontal scrolling. It cannot be said that the playability such as three-dimensionality and presence is great.
そこで、本発明では、利用者が立体感や臨場感などの遊戯性を十分に得られる態様で背景画像を変化させる自動写真作成装置、自動写真作成方法およびプログラムを提供することを目的とする。 Accordingly, an object of the present invention is to provide an automatic photo creation device, an automatic photo creation method, and a program that change a background image in a manner in which a user can sufficiently obtain playability such as a three-dimensional effect and a sense of reality.
本発明は、利用者の撮影を行い、撮影により取得される撮影画像を含む合成画像を写真として出力し、利用者の位置または向きを検出し、画像を表示するものである。
撮影により連続的に取得される撮影画像に含まれる利用者の像に対して背景となるよう予め定められた背景画像を、検出される位置または向きに基づき変化させ、利用者の像とともに連続的に合成表示する。そして、合成画像に含まれるべき撮影画像が取得される時点において検出される位置または向きに基づき、合成表示における変化と同じく変化させた背景画像を、撮影により取得される撮影画像に合成した合成画像を生成する。
The present invention captures a user, outputs a composite image including a photographed image acquired by photographing as a photograph, detects the position or orientation of the user, and displays the image.
A predetermined background image is changed based on the detected position or orientation with respect to the user image included in the captured image continuously acquired by shooting, and continuously with the user image. Is displayed in a composite. Then, based on the position or orientation detected when the captured image to be included in the composite image is acquired, the composite image obtained by combining the background image changed in the same manner as the change in the composite display with the captured image acquired by the capture Is generated.
本発明によれば、利用者の位置または向きが検出され、予め定められた背景画像を検出される位置または向きに基づき変化させ、利用者の像とともに連続的に合成表示するよう制御するとともに、合成画像に含まれるべき撮影画像が取得される時点において検出される位置または向きに基づき、同じく変化させた背景画像を撮影画像に合成した合成画像が生成され写真として出力されるので、表示される合成画像や、出力される写真において、利用者が立体感や臨場感などの遊戯性を十分に得ることができる。 According to the present invention, the position or orientation of the user is detected, a predetermined background image is changed based on the detected position or orientation, and control is performed so as to continuously synthesize and display the image of the user. Based on the position or orientation detected at the time when the captured image to be included in the composite image is acquired, a composite image obtained by combining the changed background image with the captured image is generated and output as a photograph, so that it is displayed. In the synthesized image and the output photo, the user can sufficiently obtain playability such as a three-dimensional effect and a sense of reality.
以下、添付図面を参照しつつ本発明の各実施形態について説明する。
<1.第1の実施形態>
<1.1 全体構成>
図1は、本発明の第1の実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。より詳細には、図1(a)は、この遊戯用写真作成装置を横から見た外観側面図であり、図1(b)は、上から見た外観平面図である。この遊戯用写真作成装置は、利用者が入る撮影室2と、利用者を撮影して撮影画像を取得する撮影ユニット3と、撮影画像に対する利用者による落書き(描画操作)を含む編集操作を受け付け、当該撮影画像に合成した合成画像を生成する編集ユニット4と、合成画像を出力する出力ユニット5とを備えている。図2は、撮影ユニット3の正面図であり、図3は、編集ユニット4の正面図であり、図4は、出力ユニット5の正面図である。以下、図1から図4を参照しつつ、本実施形態に係る遊戯用写真作成装置の全体構成について説明する。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
<1. First Embodiment>
<1.1 Overall configuration>
FIG. 1 is a diagram showing an appearance of a play photo creation apparatus that is an automatic photo creation apparatus according to a first embodiment of the present invention. More specifically, FIG. 1 (a) is an external side view of the play photo creation apparatus as viewed from the side, and FIG. 1 (b) is an external plan view as viewed from above. This play photo creation apparatus accepts an editing operation including a
撮影室2は、略直方体形状であって、撮影ユニット3は、内部に入る利用者から見て前の面である撮影室2の前面に沿って配置されている。なお、撮影室2の左右両側面の一部には、それぞれ利用者が出入りするための開口部と、当該開口部の一部または全部を覆う遮光カーテンとが設けられている。また、撮影室2の内部に入る利用者から見て後ろの面である背面にはクロマキー合成処理のための単一の色(ここでは青色または緑色)が付されている。なお、これらの色は、例えば、撮影ユニット3の撮影範囲に含まれる床面等にも付されていてもよい。
The photographing
撮影ユニット3は、利用者を撮影する撮像手段としてのカメラ10と、当該カメラ10の上下左右の位置に配置され閃光を発するストロボ11,12,13L,13R,14と、当該カメラ10の下方に配置され利用者からの操作の受け付けや撮影画像の表示等を行う撮影操作用タッチパネル20とを備えている。
The photographing
カメラ10は、典型的には、CCD(電荷結合素子)を利用してデジタル画像信号を生成するデジタルカメラであって、利用者を撮影し、その撮影画像を表す画像信号を出力する。ストロボ11〜14は、撮影のための充分な光を得るために利用者に向かって閃光を発する。撮影操作用タッチパネル20は、撮影の際に利用者による各種操作を受け付けるための操作画面を提供するとともに、上記画像信号に基づく画像をリアルタイムで表示するように構成されている。
The
図5は、撮影操作用タッチパネル20の表示構成を示す模式図である。図5に示すように、撮影時点において、撮影操作用タッチパネル20には、リアルタイムで撮影画像を表示するためのリアルタイムプレビュー領域201と、ポーズの見本を表示するためのポーズ見本表示領域202と、撮影によって得られる落書き対象画像を表示するための落書き対象画像表示領域203とが表示されている。なお、リアルタイムプレビュー領域201には、詳しくは後述するように、利用者の位置に応じて変形された背景画像が撮影画像に対してクロマキー合成表示される。
FIG. 5 is a schematic diagram showing a display configuration of the
また撮影ユニット3は、コンピュータを中心に構成され各部の制御等を行う制御装置、I/O制御装置、および編集ユニット4と通信を行うためのネットワークアダプタ等を内蔵している。また、撮影ユニット3は、前面下方にコイン投入口26を備えている。
The photographing
編集ユニット4は、撮影ユニット3と同様のコンピュータを中心に構成され各部の制御等を行う制御装置、および撮影ユニット3等と通信を行うためのネットワークアダプタ等を内蔵している。また、編集ユニット4は、図1(b)に示すように、2組の利用者がプレイ可能なように2つのユニット4a、4bに分かれている。そのうちの一方のユニット4aには、落書き領域や落書きのためのメニュー、ツール等を表示する領域を含みGUI(Graphical User Interface)表示手段として機能する編集操作用タッチパネル400と、当該編集操作用タッチパネル400に対する操作に使用されるポインティングデバイスとしてのタッチペン49L、49Rとが設けられている。なお、他方のユニット4bについても同様の構成となっている。ここで図1(a)において手前に見えるユニット4aを「落書きブースA」と呼び、その反対側(図では裏側)のユニット4bを「落書きブースB」と呼ぶ。
The editing unit 4 is configured around a computer similar to the photographing
本実施形態における編集操作用タッチパネル400は、各ユニット4a、4bにおいてそれぞれ2人または3人の利用者が同時に落書きを行えるような表示構成となっている。なお、本説明においては、左側の利用者が使用する構成要素には「L」を含む参照符号を付し、右側の利用者が使用する構成要素には「R」を含む参照符号を付している。また、3人の利用者が使用する場合には、これに加えて、中央の使用者が使用する構成要素に「C」を含む参照符号を付している。
The editing
また、本実施形態における編集操作用タッチパネル400は、複数のタッチペン49L、49Rによる操作位置を同時に検出可能に構成されており、かつ、検出される各操作位置が、タッチペン49L、49Rのうちのいずれの操作に対応するのかも検出可能となっている。例えば、編集操作用タッチパネル400として静電容量方式のタッチパネルを使用した場合には、このような複数の操作位置の同時検出と操作されたタッチペンの識別とが可能である。
In addition, the editing
出力ユニット5は、図4に示すように、典型的には前面下方に、編集ユニット4で編集操作が行われた合成画像を印刷した写真シールや写真カード等を取り出す取出口33を備えている。また、出力ユニット5は、例えば携帯電話端末に内蔵される赤外線ポートにより、例えばデコメール(登録商標)画像等の素材画像や撮影画像に落書きをした合成画像などを利用者の携帯電話端末に転送する際に利用者によって操作される出力操作用タッチパネル30と、出力操作用タッチパネル30の下方に配置され上記素材画像等を赤外線信号として携帯電話端末に向けて直接送信するための赤外線ポート(非接触通信ポート)31と、上記通信の際に必要な操作方法や効果音などを音声によって利用者に知らせるスピーカ32とを備えている場合もある。
As shown in FIG. 4, the
出力操作用タッチパネル30は、利用者が合成画像を印刷された写真シール等だけでなく携帯電話端末でも見たい場合に、上記素材画像等を上記非接触通信機能を備えた携帯電話端末に送信するのに必要な各種操作を受け付けるための操作画面を提供するように構成されていている。なお、当該操作は主に合成画像の写真シール等が印刷されるまでの時間を利用して行われるので、利用者は写真シール等が印刷されるまでの時間を持て余すことなく有効に利用することができる。また、出力ユニット5に出力操作用タッチパネル30を設けずに、当該操作を編集ユニット4の編集操作用タッチパネル400で行うようにすることもできる。
The output
このような出力ユニット5も、撮影ユニット3と同様のコンピュータを中心に構成され各部の制御等を行う制御装置および編集ユニット4等と通信を行うためのネットワークアダプタ等を内蔵しているほか、合成画像を写真シール等として印刷するネットワークプリンタ35を備えている。
Such an
以上のような構成において、利用者は、撮影室2において撮影を行った後、編集ユニット4の落書きブースAまたは落書きブースBの編集操作用タッチパネル400を使用することにより、撮影画像に基づいて生成された落書き対象画像に対して落書きを行う。そして、利用者は、落書きによって生成された合成画像をネットワークプリンタによって印刷したり、赤外線通信機能を有する携帯電話端末に画像を送信し、携帯電話端末で受信した画像を端末画面に表示させたりする。
In the configuration as described above, after shooting in the
<1.2 機能的構成>
図6は、本実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。この図6に示す遊戯用写真作成装置は、機能的には、主として利用者を撮影する処理(撮影処理)を行うための撮影処理部7と、主として落書き対象画像に対する利用者の落書き操作に応じて当該落書き対象画像の編集処理を行うための編集処理部8と、編集処理が行われた落書き対象画像を写真シール等として出力したり、作成された素材画像等を非接触通信を利用して携帯電話端末に出力したりする処理(出力処理)を行う出力処理部9とから構成されている。
<1.2 Functional configuration>
FIG. 6 is a block diagram showing the configuration of the main part of the play photo creating apparatus according to the present embodiment as seen from the functional aspect. 6 is functionally according to a photographing processing unit 7 for mainly performing a process of photographing a user (photographing process) and a graffiti operation of the user mainly on a graffiti target image. Edit processing unit 8 for performing the editing process of the graffiti target image, and output the graffiti target image subjected to the editing process as a photo sticker, etc. And an
撮影処理部7は、第1の制御部70と、撮像部71と、第1の表示・操作部72と、I/O制御部73と、照明部74と、第1の通信部75とによって構成されている。編集処理部8は、第2の制御部80と、第2の表示・操作部81,82と、第2の通信部83とによって構成されている。出力処理部9は、第3の制御部90と、第3の表示・操作部91と、印刷出力部92と、音声出力部93と、非接触通信部94と、第3の通信部95と、無線通信部96とによって構成されている。ネットワークアダプタである第1、第2および第3の通信部75,83,95は、LAN(Local Area Network)であるネットワーク6を介してそれぞれ相互に通信可能となっている。
The imaging processing unit 7 includes a
撮像部71は、CCD等の撮像素子を用いて構成されるカメラ10に相当し、リアルタイムに画像を取り込んで当該画像(撮影画像)を表す画像信号を出力する。この画像信号は第1の制御部70に入力されて、その内部のメモリに撮影画像データとして一時的に記憶される。また、この撮影画像データは撮影画像信号として第1の制御部70から第1の表示・操作部72に供給され、当該撮影画像信号に基づく撮影画像がリアルタイムに表示される。なお実際には、撮影画像として保存される撮影画像データは高解像度の静止画データであり、リアルタイム表示を行うための撮影画像データ(「スルー画像データ」とも呼ばれる)は低解像度の動画データであるが、撮影対象は同一であるので、以下では原則としてこれらを特に区別しないで説明する。
The
第1の表示・操作部72は、撮影操作用タッチパネル20に相当し、撮影画像に付加されるべき背景画像(および前景画像)を選択する操作やシャッター操作等を受け付ける。これらの操作を示す信号は、操作信号として第1の制御部70に入力される。ここで、利用者を撮影するための(選択された撮影メニューに対応する)所定の処理が開始されると、第1の表示・操作部72に利用者のための案内が表示され、その後の第1の制御部70からの指示に基づき、数秒程度の予め決められた時間の経過後にカメラ10の撮影方向にストロボ11〜14から閃光が放たれる。そのとき、利用者の撮影画像を表す信号として撮像部71から出力される画像信号が第1の制御部70に入力され、第1の制御部70内のメモリまたは補助記憶装置としてのハードディスク装置等に撮影画像データとして格納される。
The first display /
照明部74は、カメラ10の上下左右の位置に配置されたストロボ11,12,13L,13R,14に相当し、第1の制御部70からの指示に基づきI/O制御部73によって点灯/消灯および調光が制御される。I/O制御部73は、撮影ユニット3に内蔵されるI/O制御装置に相当し、第1の制御部70からの指示に基づき、照明部74を制御する。また、後述のコイン検出部(不図示)からの検出信号等の入力信号を第1の制御部70へ転送する。第1の通信部75は、撮影ユニット3に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
The
第1の制御部70は、撮影ユニット3に内蔵され、CPU、メモリ、フレームバッファ、タイマー、補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、上述のようにして入力される操作信号等に基づき各部を制御するために、上述のように各部に指示を出す。また撮影された画像に基づいて落書き対象画像を生成する。生成された落書き対象画像はフレームバッファに書き込まれることにより、第1の表示・操作部72に表示される。さらに、第1の制御部70は、落書き対象画像に所定の背景画像や前景画像を描画した画像である合成画像を生成する。この落書き対象画像には、詳しくは後述するようにマスクの作成に使用されるキー色となる背景色が付されており、周知のクロマキー合成処理の手法に基づき、利用者の像のみを含む撮影画像部分を抽出し、当該撮影画像部分が背景画像中に嵌め込まれるように合成する。このように生成された合成画像はフレームバッファに書き込まれることにより第1の表示・操作部72に表示される。
The
また、第1の制御部70は、撮影画像に対して周知の顔認識処理(顔検出処理)を行うことにより、当該撮影画像に含まれる利用者の顔の位置を検出し、当該位置に応じて変形させた上記背景画像(さらに場合によって前景画像)を第1の表示・操作部72に連続的に合成表示させるとともに、合成画像に含まれるべき撮影画像が取得される時点で同様に変形された上記背景画像と撮影画像とを合成した合成画像を生成する。この点についても詳しく後述する。こうして撮影および合成画像の生成が終了すると、生成された合成画像は利用者の入力操作に応じて適宜選択された後、第1の通信部75を介して、編集ユニット4に対応する第2の制御部80へ送られる。なお、上記顔認識処理は、利用者の位置が検出可能なものであればよく、利用者を個体識別する必要はないが、識別してもよい。また後述するように、顔の向きを検出してもよい。さらに利用者の位置が検出可能であれば、顔認識処理を使用しない周知の様々な位置検出手法を採用可能であり、例えば利用者の立つ位置を検出するため床に(典型的にはマトリクス状に)配置される圧力センサや、複数の光センサ、超音波センサなどを設ける構成であってもよい。もっとも、これらのセンサを新たに設けるにはコストがかかるため、典型的にはソフトウェアのみの処理で位置検出することができる顔認識処理を使用することが好適である。
In addition, the
上記の構成要素の他、撮影ユニット3におけるコイン投入口26に投入されたコインを検出するためのコイン検出部(不図示)が更に撮影ユニット3に設けられており、第1の制御部70は、コイン検出部での検出結果に基づき、利用者に所定時間だけ撮影や背景画像および前景画像の選択や落書き等、本遊戯用写真作成装置によるプレイを許容するように各部を制御する。このコイン検出部による検出動作やその検出結果に基づく第1の制御部70による制御動作は、従来の遊戯用写真作成装置と同様であって周知であるので、その詳しい説明を省略する。
In addition to the above-described components, the photographing
第2の制御部80は、編集ユニット4に内蔵され、CPU、メモリ、フレームバッファ、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、編集処理に関する全体の制御を行う。すなわち第2の制御部80は、第2の表示・操作部を制御するGUI制御手段として機能する。また、第2の制御部80は、第1の制御部70から送られてきた落書き対象画像(撮影画像を含む画像)に対する落書き処理を行うための操作信号に基づき、その落書き対象画像に所定画像を描画した画像である合成画像を生成する。このような合成画像の生成が終了すると、利用者による分割レイアウトの選択指示を受け付けられ、選択された分割レイアウトを示す情報および生成された合成画像は出力ユニット5に送られる。なお、印刷出力部92が別の合成画像を出力中である場合には、その旨が表示されるとともに終了を待って送られる。
The
第2の表示・操作部81、82は、落書きのためのGUI表示手段として機能する編集操作用タッチパネル400に相当し、タッチペンを用いた利用者の操作を受け付ける。第2の通信部83は、編集ユニット4に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
The second display /
第3の制御部90は、出力ユニット5に内蔵され、CPU、メモリ、フレームバッファ、タイマー、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをCPUが実行することにより、出力処理に関する全体の制御を行う。第3の制御部90は、第2の制御部80から送られてきた合成画像を合成画像データとしてメモリに格納する。印刷出力部92は出力ユニットに内蔵されるネットワークプリンタ35に相当し、メモリに格納された合成画像データを(適宜にレイアウトした)写真シール(または写真カード)として印刷する。印刷された写真シール等は、出力ユニット5の正面下方に設けられた取出口33から取り出される。
The
また、第3の制御部90は、第2の制御部80から送られてきた分割レイアウト情報および合成画像に基づいて写真シール等の印刷処理を開始すると同時に、利用者の入力操作を受け付けるための後述する操作画面を第3の表示・操作部91に表示する。この第3の表示・操作部91は出力操作用タッチパネル30に相当し、入力手段として機能する。出力操作用タッチパネル30は、液晶ディスプレイまたはCRT(Cathode Ray Tube)等の表示手段として機能するモニタと、その上面に積層され、入力座標を認識することができる1人用のタッチパネルから構成される。モニタは複数の画面に分割された操作画面を表示することができ、タッチパネルは分割された複数の画面ごとに利用者のタッチペンを用いた入力操作を受け付け、受け付けた入力操作を操作信号として第3の制御部90に入力する。
Further, the
第3の通信部95は、出力ユニット5に内蔵されるネットワークアダプタに相当し、ネットワーク6を介したデータ送受信の際のインタフェースとして機能する。
The
ここで、第3の制御部90は、落書きを終えてから操作を始めるまでの間、補助記憶装置に予め記憶されているデモ画像(デモンストレーション用の画像)をフレームバッファに書き込むことにより第3の表示・操作部91に表示する。また音声出力部93は、スピーカ32に相当する。音声出力部93は、第3の表示・操作部91に表示される操作画面と連動して入力操作方法を利用者に説明し、また第3の表示・操作部91にデモ画像が表示されているときにデモ画像に応じた楽曲等を流す。なお、入力操作方法の説明や楽曲等は補助記憶装置としてのハードディス装置等に予め格納されている。
Here, the
その後、第3の制御部90は、第3の表示・操作部91の表示や音声出力部93による音声や効果音等により合成画像の印刷が完了するまで後述するミニゲームを利用者に提供し続ける。このミニゲームの内容も同様にハードディスク装置等に予め格納されている。
Thereafter, the
ここで、各制御装置において実行される上記所定プログラムは、例えば、そのプログラムを記録した記録媒体であるDVD−ROMによって提供される。すなわち、上記所定プログラムの記録媒体としてのDVD−ROMが補助記憶装置として制御装置内に内蔵されたDVD−ROM駆動装置に装着され、そのDVD−ROMから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、DVD−ROM以外の記録媒体(CD−ROM等)や通信回線を介して提供されてもよい。そして、本遊戯用写真作成装置の起動のための操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のCPUによって実行される。これにより、制御装置による上記各部の制御処理が実現される。 Here, the predetermined program executed in each control device is provided by, for example, a DVD-ROM which is a recording medium on which the program is recorded. That is, a DVD-ROM as a recording medium for the predetermined program is attached to a DVD-ROM driving device built in the control device as an auxiliary storage device, and the predetermined program is read from the DVD-ROM as an auxiliary storage device. Installed on the hard disk drive. The predetermined program may be provided via a recording medium (CD-ROM or the like) other than a DVD-ROM or a communication line. Then, when an operation for starting the present photo creating device is performed, the predetermined program installed in the hard disk device is transferred to the memory in the control device and temporarily stored therein, It is executed by the CPU. Thereby, the control process of each part by the control device is realized.
なお、上記第1から第3までの制御部70,80,90は、異なるユニットに内蔵される異なるコンピュータを含む装置に相当するものとして説明したが、このような構成は一例であって、上記第1から第3までの制御部70,80,90は、2つ以下または4つ以上の装置により実現されてもよい。この場合には各装置において、それぞれ実現されるべき機能に応じたプログラムが実行される。また、撮影ユニット3、編集ユニット4、および出力ユニット5についても、2つ以下または4つ以上のユニットにより構成されてもよい。
The first to
<1.3 遊戯用写真作成装置における処理手順>
上述したように、この遊戯用写真作成装置には、撮影ユニット3と編集ユニット4と出力ユニット5とが含まれている。撮影ユニット3では撮影処理が行われ、編集ユニット4では後述する落書き編集処理が行われ、出力ユニット5では出力処理が行われる。なお、或る利用者が撮影ユニット3でプレイしている時に他の利用者は編集ユニット4でプレイし、さらに他の利用者は出力ユニット5で合成画像を出力することができるように構成されている。すなわち、この遊戯用写真作成装置は、撮影処理と落書き編集処理と出力処理とを並行して行うことができる。以下に、撮影処理を中心に、落書き編集処理、および出力処理の手順の概要についても最後に説明する。
<1.3 Processing procedure in the photo creation device for play>
As described above, the play photo creating apparatus includes the photographing
<1.3.1 撮影処理>
図7は、本実施形態における撮影処理の手順を示すフローチャートである。この遊戯用写真作成装置が使用されていない時(プレイが行われていない時)には、撮影操作用タッチパネル20にはデモ画像が表示されている。デモ画像の表示中に利用者がコイン投入口26にコインを投入すると、プレイが開始される(ステップS100)。
<1.3.1 Shooting process>
FIG. 7 is a flowchart showing the procedure of the photographing process in the present embodiment. When the play photo creation device is not used (when no play is performed), a demonstration image is displayed on the shooting
プレイが開始されると、第1の制御部70は、利用者による撮影モードの選択を受け付ける(ステップS105)。ステップS110では、例えば画質(具体的にはコントラストが高いくっきりとした画質、柔らかなふんわりとした画質、または透明感のあるクールな画質のうちのいずれか)を選択し、明るさを選択し、自動で撮影するか手動で撮影するかを選択し、自動で撮影する場合には撮影用テーマの選択が行われる。この場合、第1の制御部70は、予め用意された複数の撮影用テーマの中から1つ以上の撮影用テーマを利用者に選択させるための画面を撮影操作用タッチパネル20に表示し、利用者による選択操作を受け付ける。そして、第1の制御部70は、利用者の選択操作に基づいて選択情報を取得し、選択された撮影用テーマに基づいて、撮影の際に使用するフレームと背景との組み合わせを決定する。また手動で撮影する場合は、上記フレームと背景とを利用者が自由に決定する。
When the play is started, the
続いてステップS110において、第1の制御部70は、利用者の位置に応じてフレーム画像に含まれる背景を変形する処理を行う(背景画像変形処理)。この背景画像変形処理は、特徴的な構成であるため、詳しく後述する。また、背景画像を変形させるのではなく、利用者の位置に応じて新しい背景画像を部分的に追加し表示されていた背景画像を部分的に消去するような背景の変化処理については、第2の実施形態において詳しく説明する。なお以下では、便宜上、フレーム画像には背景画像のみが含まれているものとして説明する。
Subsequently, in step S110, the
次にステップS120において、第1の制御部70は、落書き対象となる画像およびフレーム画像(ここでは背景画像)のクロマキー合成表示処理を行う。このクロマキー合成表示処理は、一般的にはクロマキーマスクを作成する処理と、背景画像を合成する処理とを含む。クロマキーマスクとは、例えば周知の合成マスク(アルファチャネル)であって、対象となる撮影画像のうちのキー色(ここでは青色または緑色)を有する領域、すなわち撮影室2の背面の像が占める領域を透明とし、それ以外の領域を非透明とするためのデータである。この合成マスクは一般的には対象となる画像の画素毎に0(完全透明)または255(完全非透明)の透過度を示す値αが設定される。このようなクロマキーマスクを使用することにより、撮影画像の非透明領域(α=255)に相当する背景画像の領域は隠され(マスクされ)、その透明領域(α=0)に相当する背景画像の領域は見えるように合成される。そのため、あたかも対象となる撮影画像の非透明領域の部分が切り取られ、切り取られた当該部分が上記背景画像に対して貼り付けられたような合成画像が得られる。このようにして得られる合成画像は、撮影操作用タッチパネル20に表示される。なお、ここでの撮影画像は実際には撮影画像として保存される(高解像度の)静止画データではなく、リアルタイム表示を行うためのスルー画像データである。このスルー画像データは、撮影処理全体の開始時点から終了時点まで(S100〜S170)、カメラ10から(広義の撮影画像として)連続的に取得される。このようなクロマキー処理によって遊戯性の高い写真作成を行うことができる。なお、この背景画像は撮影開始前あるいは撮影中に利用者によって適宜選択される。
Next, in step S120, the
その後、ステップS125に進み、1セット3回の撮影が行われるべき撮影タイミングであるか否かが判定され、撮影タイミングでない場合(ステップS125においてNoの場合)には撮影タイミングとなるまで上記背景画像変形処理およびクロマキー合成表示処理が繰り返され(S125→S110→S120→S125)、撮影タイミングである場合(ステップS125においてYesの場合)には、ステップS130における撮影処理に進む。 Thereafter, the process proceeds to step S125, where it is determined whether or not it is a shooting timing at which one set of three shootings should be performed. When the shooting timing is not reached (No in step S125), the background image is displayed until the shooting timing is reached. The deformation process and the chroma key composition display process are repeated (S125 → S110 → S120 → S125), and if it is the shooting timing (Yes in step S125), the process proceeds to the shooting process in step S130.
ステップS130における撮影処理では、前述したように数秒程度の予め決められた時間の経過後にカメラ10の撮影方向に閃光が放たれ、カメラ10によって取得された撮影画像データが第1の制御部70のメモリに格納される。
In the shooting process in step S130, as described above, after a predetermined time of about several seconds has passed, a flash is emitted in the shooting direction of the
次に、ステップS140において、ステップS130において得られた撮影画像に対して、ステップS110において得られる背景画像をクロマキー合成した合成画像、すなわちステップS120においてなされる処理と同様の(厳密には低解像度のスルー画像を上記背景画像に合成するのではなく、高解像度の静止画像である撮影画像を上記背景画像に合成する)クロマキー合成処理により生成される合成画像が、落書き対象画像として撮影操作用タッチパネル20に表示される。なお、このステップS140の処理においても、上記ステップS110における背景画像変形処理と同一の背景画像変形処理が行われるが、ここでの背景画像変形処理の内容は、後述するステップS110における詳細な処理の説明に代えて、ここでは説明を省略する。 Next, in step S140, a combined image obtained by chroma key combining the captured image obtained in step S130 with the background image obtained in step S110, that is, the same processing as that performed in step S120 (strictly, a low-resolution image). The composite image generated by the chroma key composition process (compositing the captured image, which is a high-resolution still image with the background image), instead of compositing the through image with the background image) is used as the graffiti target image. Is displayed. In the process of step S140, the same background image deformation process as the background image deformation process in step S110 is performed. The details of the background image deformation process here are detailed processes in step S110 described later. Instead of description, description is omitted here.
続いて、ステップS150において、第1の制御部70は、予め定められた枚数(セット数)の撮影が終了したか否かを判定する。判定の結果、当該枚数の撮影が終了していればステップS160に進み、当該枚数の撮影が終了していなければステップS110に戻る。なお、実際には撮影のための制限時間(例えば3分)が設けられる。
Subsequently, in step S150, the
ステップS160では、複数の落書き対象画像の中から実際の落書き対象となる画像の(利用者による)選択が行われる。具体的には、第1の制御部70は、落書きおよび印刷に使用する画像を利用者に選択させるために、落書き対象画像の一覧を撮影操作用タッチパネル20に表示し、利用者による選択操作を受け付ける。そして、第1の制御部70は、利用者によって選択された画像を実際の落書き対象画像として第2の制御部80に送る。ステップS160における処理が終了すると、ステップS170の処理に進む。ステップS170では、案内画面の表示が行われる。具体的には、第1の制御部70は、利用者を編集ユニット4のいずれか(4aまたは4b)に導くための画面を撮影操作用タッチパネル20に表示する。これにより、撮影処理が終了する。なお、本実施形態では、上記ステップS110における背景画像変形処理の内容に特徴を有するが、この点については図9を参照して後述するものとし、次に落書き編集処理の内容について説明する。
In step S160, an image to be actually graffitied is selected (by the user) from a plurality of graffiti subject images. Specifically, the
<1.3.2 落書き編集処理>
図8は、本実施形態における落書き編集処理の手順を示すフローチャートである。第2の制御部80が所定のプログラムに基づき図8に示すように動作することで、この落書き編集処理が実現される。この処理では、上述した撮影処理の終了後、第2の制御部80は、ネットワーク(LAN)6を介して第1の制御部70から送られる落書き対象画像を取得する(ステップS210)。
<1.3.2 Graffiti editing process>
FIG. 8 is a flowchart showing the procedure of graffiti editing processing in the present embodiment. The graffiti editing process is realized by the
次に、第2の制御部80は、第1の制御部70によって行われた撮影処理により取得され、利用者によって選択された複数の落書き対象画像を第1の制御部70から受け取り(ステップ210)、続いてタイマー46が所定の時間(具体的には、落書きを許可する時間)に設定され、カウントダウンが開始される(ステップS220)。
Next, the
タイマー46のカウントダウン開始後、編集ユニット4を構成するユニット4a,4bのそれぞれの編集操作用タッチパネル400において、落書き編集操作画面が表示され、利用者による落書き操作(描画操作)が受け付けられる(ステップS230〜S250)。なおこの落書き編集処理時において、編集ユニット4では、撮影画像に基づく落書き対象画像に対する編集操作の他に、デコメール画像等の素材画像を作成するための編集操作が受け付けられてもよい。
After the countdown of the timer 46 starts, a doodle editing operation screen is displayed on the editing
上記処理は、具体的には編集操作画面内のボタンやツールなどの1つをタッチペンでタッチすると、その座標値が入力され(S230)、対応する落書き画面処理(S240)が行われる。その後ステップS250においてタイマー46の残り時間が0になる(または利用者が終了させる操作を行う)ことにより落書きが終了したかが判定され、終了していない場合(ステップS250においてNoの場合)にはステップS230に戻り、落書きが終了するまで処理が繰り返され、落書きが終了した場合(ステップS250においてYesの場合)には、処理はステップS260に進む。 Specifically, when one of the buttons and tools in the editing operation screen is touched with a touch pen, the coordinate value is input (S230), and the corresponding graffiti screen processing (S240) is performed. Thereafter, in step S250, the remaining time of the timer 46 becomes 0 (or the user performs an operation to end), and it is determined whether or not the graffiti has ended. If not (if No in step S250), Returning to step S230, the process is repeated until the graffiti ends. If the graffiti ends (Yes in step S250), the process proceeds to step S260.
ステップS260では、出力される写真の分割パターンの選択が行われる。具体的には、第2の制御部80は、予め用意された複数の分割パターンの中からいずれかの分割パターンを利用者に選択させるための操作画面を編集操作用タッチパネル400に表示し、利用者による選択操作を受け付ける。そして、第2の制御部80は、利用者の選択操作に基づいて、選択情報を取得する。ステップS260の処理が終了した後、ステップS270の処理に進む。
In step S260, the division pattern of the output photo is selected. Specifically, the
ステップS270では、案内画面の表示が行われる。具体的には、第2の制御部80は、利用者を出力ユニット5に導くための画面を編集操作用タッチパネル400に表示する。これにより、落書き編集処理が終了する。落書き編集処理が終了すると、出力ユニット5において、編集ユニット4から送られてきた合成画像に基づいて写真シール等の印刷処理が開始されることなどについては前述した通りである。次に、上記ステップS110における背景画像変形処理の詳しい内容について図9を参照して説明する。
In step S270, a guidance screen is displayed. Specifically, the
<1.3.3 背景画像変形処理>
図9は、本実施形態における背景画像変形処理の手順を示すフローチャートである。図9に示すステップS400において、第1の制御部70は、撮影画像(厳密にはスルー画像)に含まれる利用者の顔の像が占める画像領域である顔領域の認識処理が行われる(ステップS400)。
<1.3.3 Background Image Deformation Process>
FIG. 9 is a flowchart showing the procedure of the background image deformation process in the present embodiment. In step S400 shown in FIG. 9, the
図10は、撮影画像を簡易に示す図である。この図10に付されている斜線部分には、クロマキー合成のための単一色(典型的には青色または緑色)が付された撮影室2の背面の像が占める領域(以下、この領域を「背景領域」という)を表し、この領域内に後述する背景画像がクロマキー合成される。また、この撮影画像のうちの背景領域以外の領域は、図10に示されているように利用者の像が占める領域(以下、この領域を「利用者領域」という)である。上記ステップS400では、この図10に示されている2人の利用者の顔の像が占める2つの領域(以下、この領域を「顔領域」という)を認識する処理が行われる。
FIG. 10 is a diagram simply showing a captured image. In the hatched portion shown in FIG. 10, an area occupied by an image on the back of the photographing
ここでこの顔領域の認識処理は、周知の手法を採用すればよく、例えば予め記憶されたモデル画像を拡大・縮小、回転することによりテンプレート画像を生成し、このテンプレート画像を基準として顔としての特徴を有する画像が撮影画像内に含まれている場合に当該領域を顔領域として認識する手法や、テンプレートを使用しない周知の認識手法、例えば肌色領域の形状に基づき顔領域を認識したり、各種のパターン認識手法を使用した認識手法等を採用可能である。これらの周知の手法についての詳しい説明は省略する。このように顔領域を認識するプログラムを実行することにより、簡単にかつセンサなどを設けることなく安価に利用者の位置を計測することができる。なお、周知の顔検出用LSIチップなどのハードウェアを使用すれば、ソフトウェア処理の場合よりも顔領域の認識を高速化することができる。このように、顔領域の認識処理は、上述したクロマキー合成処理(S120)とは無関係に行うことができるが、クロマキー処理のうちのクロマキーマスク作成処理を行うことにより得られる利用者領域(の形状等)を利用して、顔領域の認識処理を行ってもよい。 Here, the recognition process of the face area may adopt a well-known method. For example, a template image is generated by enlarging / reducing and rotating a model image stored in advance, and the face image is used as a reference based on the template image. When an image having features is included in a captured image, a method for recognizing the region as a face region, a well-known recognition method that does not use a template, such as recognizing a face region based on the shape of a skin color region It is possible to adopt a recognition method using the pattern recognition method. Detailed description of these known methods is omitted. By executing the program for recognizing the face area in this way, the position of the user can be measured easily and inexpensively without providing a sensor or the like. If hardware such as a well-known face detection LSI chip is used, the recognition of the face area can be performed faster than in the case of software processing. As described above, the face area recognition process can be performed independently of the above-described chroma key composition process (S120), but the user area (the shape of the user area) obtained by performing the chroma key mask creation process in the chroma key process is described. Etc.) may be used to perform face area recognition processing.
次に、ステップS410では、2つの顔領域におけるそれぞれの重心を結ぶ線分の中点である中心座標が算出される。図11は、この中心座標計算を説明するための図である。図11に示される2つの顔領域F1,F2は、それぞれ重心点Pc1,Pc2を有している。この重心点Pc1,Pc2の撮影画像における座標は、周知の重心算出手法に基づき簡単に計算することができるので、これらの重心点Pc1,Pc2を結ぶ線分の中点である中心座標Pmの座標も簡単に計算することができる。 Next, in step S410, center coordinates that are the midpoints of the line segments connecting the centroids of the two face regions are calculated. FIG. 11 is a diagram for explaining the center coordinate calculation. The two face areas F1 and F2 shown in FIG. 11 have centroid points Pc1 and Pc2, respectively. Since the coordinates of the centroid points Pc1 and Pc2 in the captured image can be easily calculated based on a known centroid calculation method, the coordinates of the center coordinate Pm, which is the midpoint of the line segment connecting the centroid points Pc1 and Pc2. Can also be calculated easily.
このように中心座標を算出するのは、利用者領域の撮影画像における位置関係を決定するためである。すなわち、上記中心座標が撮影画像の左右方向における中心付近に存在すれば概ね利用者は撮影画像の中心付近に写っていることが分かり、当該中心より左側方向または右側方向に上記中心座標があれば、利用者は撮影画像の左側または右側に偏って写っていることが分かる。したがって、利用者の撮影画像における位置関係を決定することができればどのような計算を行ってもよく、例えば顔認識処理を行うことなく、利用者領域の重心位置を上記中心座標としてもよい。また、顔認識処理を行う場合であっても、必ずしも顔領域の重心を算出する必要はなく、例えば目や口などの顔の特徴部分を認識し、当該部分の座標を算出してもよいし、例えば顔領域外周のうち最も上の部分(頭頂部)や最も下の部分(顎先部)などの座標を算出してもよい。また、2つの顔領域のうちの一方の顔領域のみに基づき中心座標またはこれに相当する基準座標等を算出してもよい。例えば、顔認識処理により利用者を特定し、特定された(ここでは)2人の顔のうちの一方を基準の顔と定め、当該顔領域における中心座標等の基準座標を算出してもよい。なお、この基準の顔は撮影毎にまたは所定のタイミングで変更されてもよい。また、この基準の顔を例えば顔の大きい方または小さい方といった顔の大きさで定めてもよい。この顔の大きさは、後述するように利用者がカメラに対して前後方向(遠近方向)に移動する場合、顔領域の面積を(画像変形のための)変形量の算出に使用するため、この構成において特に好適である。 The reason for calculating the center coordinates is to determine the positional relationship of the user area in the captured image. That is, if the center coordinate is present near the center in the left-right direction of the captured image, it can be seen that the user is generally reflected near the center of the captured image, and if the center coordinate is on the left side or the right side of the center, , It can be seen that the user is biased to the left or right side of the captured image. Therefore, any calculation may be performed as long as the positional relationship in the captured image of the user can be determined. For example, the center of gravity position of the user area may be set as the central coordinate without performing the face recognition process. Further, even when face recognition processing is performed, it is not always necessary to calculate the center of gravity of the face area. For example, facial feature parts such as eyes and mouth may be recognized and the coordinates of the part may be calculated. For example, the coordinates of the uppermost part (the top of the head) and the lowermost part (the chin part) of the outer periphery of the face area may be calculated. Further, center coordinates or reference coordinates corresponding thereto may be calculated based on only one of the two face areas. For example, a user may be specified by face recognition processing, and one of the specified (here) two faces may be determined as a reference face, and reference coordinates such as center coordinates in the face area may be calculated. . Note that the reference face may be changed at every shooting or at a predetermined timing. Further, the reference face may be determined by the face size, for example, the larger face or the smaller face. The size of this face is used to calculate the amount of deformation (for image deformation) when the user moves in the front-rear direction (perspective direction) with respect to the camera as will be described later. This configuration is particularly suitable.
もっとも複数の利用者の顔領域を認識する処理に基づき、複数の利用者の位置(典型的には上記中心位置)を算出する構成では、センサなどで複数の利用者それぞれの位置を検出する構成よりも正確に位置を検出することができる。なぜなら、複数の利用者は、それぞれが写真に確実に写るよう、その顔が隠れないように自らの位置を設定するため、複数の利用者の顔領域のそれぞれは、撮影画像において重複することがなく、または少なくとも大きく重複することがない。そのため、顔領域の誤検出によって、利用者の位置が誤って算出されることがない(または少ない)からである。 However, in the configuration for calculating the positions of the plurality of users (typically, the center position) based on the process of recognizing the face areas of the plurality of users, a configuration in which the positions of the plurality of users are detected by sensors or the like. The position can be detected more accurately. This is because a plurality of users set their positions so that their faces are not hidden so that each of them can be surely captured in a photograph, and therefore each of the plurality of user's face areas may overlap in the captured image. Or at least not significantly overlap. For this reason, the position of the user is not erroneously calculated (or reduced) due to erroneous detection of the face area.
なお、上記の例では2人の利用者の顔領域の中心座標を算出したが、3人以上であっても各利用者の顔領域の重心点を求めることにより、同様に計算することができる。また、利用者が一人である場合には、典型的には当該利用者の顔領域F1の重心点Pc1が中心座標Pmとして算出される。さらに、上記中心座標Pmに代えて、重心点Pc1,Pc2を結ぶ線分上の中点以外の点(例えば所定の比率で線分を分ける分割点など)を使用してもよいし、線分外であって重心点Pc1,Pc2と所定の位置関係にある点を使用してもよい。このことは利用者が3人以上であっても同様であり、また上記重心点以外の点を使用する場合であっても同様である。 In the above example, the center coordinates of the face areas of two users are calculated, but even if there are three or more persons, the center coordinates of the face areas of each user can be calculated in the same way. . When there is only one user, the center point Pc1 of the user's face area F1 is typically calculated as the center coordinate Pm. Further, instead of the center coordinate Pm, a point other than the midpoint on the line segment connecting the centroid points Pc1 and Pc2 (for example, a dividing point that divides the line segment at a predetermined ratio) may be used. Points outside the center of gravity Pc1 and Pc2 and having a predetermined positional relationship may be used. This is the same even when there are three or more users, and the same applies even when a point other than the center of gravity is used.
続いてステップS420では、上記ステップS410において算出された中心座標に基づき、利用者の撮影画像における位置関係に応じた(後述するステップS420において使用される)背景画像の変形量を算出する。この変形量は、利用者が撮影画像の中心付近に写っている場合にはゼロであり、利用者の写る位置が撮影画像の中心より右側方向に偏っているほど(符号が正の方向に)大きくなり、利用者の写る位置が撮影画像の中心より左側方向に偏っているほど負の方向に小さくなるように定められる。このように構成すれば、利用者がその位置を(左右方向へ)移動するだけで、その移動量に応じた変形量で簡単に背景画像を変形させることができる。 Subsequently, in step S420, the deformation amount of the background image (used in step S420 to be described later) corresponding to the positional relationship in the photographed image of the user is calculated based on the center coordinates calculated in step S410. This amount of deformation is zero when the user is in the vicinity of the center of the photographed image, and the position where the user is photographed is more biased to the right than the center of the photographed image (the sign is in the positive direction). It is determined to become larger and to become smaller in the negative direction as the position where the user appears is more deviated leftward from the center of the captured image. If comprised in this way, a background image can be easily changed with the deformation amount according to the movement amount only by a user moving the position (to the left-right direction).
具体的には、変形されていない(元の)背景画像に対応付けられた中央位置に立つ利用者の顔領域の中心座標を基準位置として、顔認識処理により認識された顔領域に基づき算出された中心座標の基準位置に対するずれ量に基づき上記変形量を算出する。なお具体的な上記変形量(の絶対値)は、利用者の位置に応じて背景画像をどれだけ変形させるのが利用者に立体感ないし臨場感を与えるために好適であるかを考慮して予め適宜に定められる。 Specifically, it is calculated based on the face area recognized by the face recognition process with the center coordinates of the face area of the user standing at the center position associated with the unmodified (original) background image as the reference position. The amount of deformation is calculated based on the amount of deviation of the center coordinate from the reference position. Note that the specific deformation amount (absolute value) takes into account how much the deformation of the background image according to the position of the user is suitable for giving the user a three-dimensional effect or a sense of reality. It is determined appropriately in advance.
続いてステップS430では、上記ステップS420において算出された変形量に応じて、予め定められた背景画像を変形させる画像変形処理が行われる。この処理により変形された背景画像は、前述したステップS120におけるクロマキー合成表示処理により利用者画像をクロマキー合成されて表示される。以下では図12から図23までを参照してこの画像変形処理について具体的な画面構成例を示して説明する。 Subsequently, in step S430, image deformation processing for deforming a predetermined background image is performed according to the deformation amount calculated in step S420. The background image deformed by this process is displayed after the chroma key composition of the user image by the chroma key composition display process in step S120 described above. Hereinafter, the image deformation process will be described with reference to FIG. 12 to FIG.
<1.4 画面構成例>
図12は、予め用意された背景画像を例示する図である。図12に示されるように、この背景画像は、表示面に対して垂直方向へ奥行きが感じられるように描かれており、例えばこの背景画像の前に人が立つと、その人が(直方体の)部屋の中にいるように感じられる。もっとも、図12では、直方体の辺の一部のみが描かれているため、当該直方体の(見えている)内面には何も描かれていない。しかし、部屋の壁紙を示すような模様や、窓を示す図形、(立体的に描かれた)家具などを示す図形などが当該面に描かれていてもよい。以下では、上記のように部屋の中にいるかのような背景を構成するための直方体の一部を示す図形を単に「直方体」と称する。なお、背景画像は直方体形状に限られず、異なる多面体や球体(半球)などの形状であってもよいし、表示面に対して垂直方向に異なる奥行きが感じられるように描かれた複数の平面などであってもよい。このような図12に示す背景画像が背景になるよう、前述した図10に示す利用者の像(利用者領域)をクロマキー合成すると、図13に示す合成画像が得られる。
<1.4 Screen configuration example>
FIG. 12 is a diagram illustrating a background image prepared in advance. As shown in FIG. 12, this background image is drawn so that a depth is felt in a direction perpendicular to the display surface. For example, when a person stands in front of this background image, the person is ) I feel like I'm in the room. However, in FIG. 12, since only a part of the side of the rectangular parallelepiped is drawn, nothing is drawn on the inner surface (visible) of the rectangular parallelepiped. However, a pattern indicating a room wallpaper, a graphic indicating a window, a graphic indicating furniture (three-dimensionally drawn), or the like may be drawn on the surface. Hereinafter, a figure showing a part of a rectangular parallelepiped for constituting a background as if in a room as described above is simply referred to as a “cuboid”. The background image is not limited to a rectangular parallelepiped shape, and may be a different polyhedron or sphere (hemisphere) shape, or a plurality of planes drawn so that different depths can be felt in the vertical direction with respect to the display surface. It may be. When the above-described user image (user area) shown in FIG. 10 is chromakey-combined so that the background image shown in FIG. 12 becomes the background, a composite image shown in FIG. 13 is obtained.
図13は、図12に示す背景画像を変形することなく合成した合成画像を示す図である。このように、図13に示す背景画像は、上記ステップS430における画像変形処理による変形が行われていない。これは、上記ステップS420において算出された変形量がゼロであるためである。すなわち、図11に示す中心座標Pmの位置は、画像の左右方向における中心線である中央線Lmよりもやや右側に位置するが、中央右端線Lmrよりも左側に位置している。この中央右端線Lmrおよび中央左端線Lmlは、中央線Lmから所定の短い距離だけ左右に離れた位置に設けられており、中央右端線Lmrおよび中央左端線Lmlの間に中心座標Pmが存在すれば、上記ステップS420において変形量はゼロに設定される。このように構成すれば、利用者が画像変形を行いたくない場合、中心座標Pmを調整する(立つ位置を調整する)ことにより、容易に画像変形をキャンセルすることができる。もちろん、中心座標Pmが中央線Lm上にない限り、そのずれ量に応じた画像変形を行う構成であってもよい。また、上記変形量を上記ずれ量と一意に対応させるのではなく、ずれ量が所定量だけ変化する毎に変形量を段階的に変更する構成であってもよい。このように構成すれば、連続的に画像変形が行われないため、変化の滑らかさに欠くが、画像変形に伴う計算負荷を小さくすることができる。次に、利用者が画像の左方向へ移動することにより画像変形が行われる場合について、図14から図19までを参照して説明する。 FIG. 13 is a diagram illustrating a composite image obtained by combining the background image illustrated in FIG. 12 without deformation. As described above, the background image shown in FIG. 13 is not deformed by the image deformation processing in step S430. This is because the deformation amount calculated in step S420 is zero. That is, the position of the center coordinate Pm shown in FIG. 11 is located slightly to the right of the center line Lm that is the center line in the left-right direction of the image, but is located to the left of the center right end line Lmr. The center right end line Lmr and the center left end line Lml are provided at positions separated from the center line Lm by a predetermined short distance to the left and right, and the center coordinate Pm exists between the center right end line Lmr and the center left end line Lml. For example, the deformation amount is set to zero in step S420. With this configuration, when the user does not want to perform image deformation, the image deformation can be easily canceled by adjusting the center coordinate Pm (adjusting the standing position). Of course, as long as the center coordinate Pm is not on the center line Lm, the image may be deformed according to the amount of deviation. Further, the deformation amount may be changed stepwise every time the displacement amount changes by a predetermined amount instead of uniquely corresponding to the displacement amount. With this configuration, since the image is not continuously deformed, the change is lacking in smoothness, but the calculation load accompanying the image deformation can be reduced. Next, the case where the image is deformed by the user moving in the left direction of the image will be described with reference to FIGS.
図14は、利用者が画像の左方向へ移動した場合の撮影画像を簡易に示す図である。図14において、点線で示される部分は、図10に示す利用者の像(利用者領域)の外縁を表しており、画像の左方向(向かって左方向)へ距離ML1だけ利用者が移動していることが分かる。このときの中心座標Pmは図15に示す位置となる。 FIG. 14 is a diagram simply showing a captured image when the user moves to the left of the image. In FIG. 14, the part indicated by the dotted line represents the outer edge of the user image (user area) shown in FIG. 10, and the user moves by a distance ML1 to the left (toward the left) of the image. I understand that The center coordinate Pm at this time is the position shown in FIG.
図15は、利用者が画像の左方向へ移動した場合の中心座標計算を説明するための図である。図15に示す中心座標Pmの計算方法は、図11を参照してステップS400およびステップS410の処理内容として前述したとおりであるので、ここでは説明を省略する。この図15に示す中心座標Pmは、中央左端線Lmlよりもさらに左側にあるため、変形量はゼロでなく、中央線Lmからの距離に応じてステップS420における処理により適宜の値が算出される。 FIG. 15 is a diagram for explaining center coordinate calculation when the user moves to the left of the image. The calculation method of the center coordinate Pm shown in FIG. 15 is as described above as the processing contents of step S400 and step S410 with reference to FIG. Since the center coordinate Pm shown in FIG. 15 is further to the left of the center left end line Lml, the deformation amount is not zero, and an appropriate value is calculated by the processing in step S420 according to the distance from the center line Lm. .
図16は、図12に示す背景画像を画像変形することにより得られる背景画像を示す図である。図12に示す背景画像(の各辺)は、図16において点線で示されており、画像を見て奥側の面が右側方向に移動したような変形態様となっている。このように変形すれば、当該直方体の背景画像に対する仮想的な視点位置が右側方向へ移動したかのように感じられる。したがって、実際の視点位置であるカメラ10の位置を移動させることなく、あたかもカメラ10を右側方向へ移動させたかのような立体感ないし臨場感を有する合成画像を生成することができる。
FIG. 16 is a diagram showing a background image obtained by transforming the background image shown in FIG. The background image (each side) shown in FIG. 12 is indicated by a dotted line in FIG. 16, and has a modified form in which the back side surface is moved in the right direction when viewing the image. If it deform | transforms in this way, it will feel as if the virtual viewpoint position with respect to the background image of the said rectangular parallelepiped moved to the right direction. Therefore, it is possible to generate a composite image having a stereoscopic effect or a sense of presence as if the
図17は、図16に示す背景画像と図14に示す利用者の像とを合成した合成画像を示す図である。この図17に示されるように、立体的な背景を仮想的な視点が移動したかのように変形して利用者の像と合成することにより、利用者は自らの移動により変化する背景画像を見ながらその嗜好に応じた合成画像をインタラクティブに生成することが可能となる。よって、より多彩な遊戯性が得られる。このような画像変形について、図18および図19を参照して説明する。 FIG. 17 is a diagram illustrating a combined image obtained by combining the background image illustrated in FIG. 16 and the user image illustrated in FIG. 14. As shown in FIG. 17, by transforming a three-dimensional background as if a virtual viewpoint has been moved and combining it with the user's image, the user can create a background image that changes due to his / her movement. It is possible to interactively generate a composite image according to the preference while watching. Therefore, more diverse playability can be obtained. Such image deformation will be described with reference to FIGS. 18 and 19.
図18は、背景を構成する直方体の上面における画像変形を説明するための図であり、図19は、背景を構成する直方体の左側面における画像変形を説明するための図である。図18に示される背景画像の上面(天面)は、四辺形AECDからなり、画像変形前の上面(天面)を示す四辺形ABCDと比較すれば、その頂点Eは頂点Bから距離Mr1だけ右に移動し、頂点Fは頂点Cから同じく距離Mr1だけ右に移動し、頂点A,Dは移動していないことが分かる。 FIG. 18 is a diagram for explaining image deformation on the upper surface of a rectangular parallelepiped constituting the background, and FIG. 19 is a diagram for explaining image deformation on the left side of the rectangular parallelepiped constituting the background. The upper surface (top surface) of the background image shown in FIG. 18 is formed of a quadrilateral AECD. Compared with the quadrilateral ABCD indicating the upper surface (top surface) before image deformation, the vertex E is a distance Mr1 from the vertex B. It can be seen that the vertex F moves to the right by the same distance Mr1 from the vertex C, and the vertices A and D do not move.
また、同様に図19に示される背景画像の左側面は、四辺形AGJEからなり、画像変形前の左側面を示す四辺形AGHBと比較すれば、その頂点Eは頂点Bから距離Mr1だけ右に移動し、頂点Jは頂点Hから同じく距離Mr1だけ右に移動し、頂点A,Gは移動していないことが分かる。 Similarly, the left side surface of the background image shown in FIG. 19 is composed of a quadrilateral AGJE. Compared with the quadrilateral AGHB indicating the left side surface before image deformation, the vertex E is on the right side by a distance Mr1 from the vertex B. The vertex J moves from the vertex H to the right by the same distance Mr1, and the vertices A and G do not move.
このようにして背景を構成する直方体の各頂点の位置を変更すれば簡単な計算で、上記のような立体感ないし臨場感を有する背景画像を生成することができる。また、この直方体の各面(各内面)に模様や図形等が描かれている場合であっても簡単に変形することができる。すなわち、図18および図19を参照すれば分かるように、移動する頂点間を結ぶ線分(例えば線分EFや線分EJ)に含まれる各点の移動量は上記距離Mr1であって同一であり(かつ移動方向も同一であり)、この線分に平行であって移動しない頂点を結ぶ線分(例えば線分ADや線分AG)までの間の、これらの線分に平行な(図示されない無数の)線分に含まれる各点の移動量は、例えば上記移動しない頂点を結ぶ線分から垂直方向に離れる距離に比例して増加するため、各面内に存在する全ての点の移動後の座標は簡単に計算することができる。このように簡単に計算できるため、上記変形を高速に行うことが可能になり、上記合成画像をより高速に(滑らかに)表示することが可能となる。 If the positions of the vertices of the rectangular parallelepiped constituting the background are changed in this way, a background image having the above-described three-dimensional effect or presence can be generated with a simple calculation. Further, even when a pattern or a figure is drawn on each surface (each inner surface) of the rectangular parallelepiped, it can be easily deformed. That is, as can be seen from FIG. 18 and FIG. 19, the movement amount of each point included in the line segment connecting the moving vertices (for example, the line segment EF and the line segment EJ) is the same as the above-mentioned distance Mr1. Yes (and the direction of movement is the same), parallel to these line segments and parallel to these line segments (eg, line segment AD and line segment AG) connecting the vertices that do not move The movement amount of each point included in the infinite number of line segments increases, for example, in proportion to the distance away from the line segment connecting the above non-moving vertices in the vertical direction, so that after the movement of all points existing in each plane The coordinates of can be easily calculated. Since the calculation can be performed easily as described above, the deformation can be performed at high speed, and the composite image can be displayed at higher speed (smoothly).
また、ここでは利用者の移動方向(画面の左方向)と逆方向に沿って背景画像を変形させる構成について説明したが、上記移動方向と同一方向に変形させてもよい。この構成では、画像の移動量にもよるが、カメラ10の撮影方向が変化するように見せることができ、より遊戯性を高めることができる。
Also, here, the configuration has been described in which the background image is deformed along the direction opposite to the moving direction of the user (the left direction of the screen), but it may be deformed in the same direction as the moving direction. In this configuration, although depending on the moving amount of the image, it is possible to make it appear that the shooting direction of the
なお、上記計算手法は比較的単純化された一例であって、背景を構成する直方体の奥側の面は、実際に視点を左右に移動する場合には左右に平行移動するように見えるのではなく、視点位置に対する面の傾きが変化することになる。よって、より計算が複雑になるが、このような計算を行うことにより、さらに現実感または臨場感のある背景画像を生成することができる。また、レイトレーシングなど周知の様々な立体表現手法を使用することにより、より現実感または臨場感のある背景画像を生成することができる。 Note that the above calculation method is a comparatively simplified example, and the back side of the rectangular parallelepiped that forms the background does not appear to translate left and right when the viewpoint is actually moved left and right. In other words, the inclination of the surface with respect to the viewpoint position changes. Therefore, although the calculation becomes more complicated, a background image with a more realistic or realistic feeling can be generated by performing such a calculation. Further, by using various well-known three-dimensional expression techniques such as ray tracing, a background image with a more realistic or realistic feeling can be generated.
また、ここでは画像を変形することにより、立体感を有する合成画像を生成する構成であるが、実際の視点位置が変化すると、今まで見えていなかった面の一部などが見えるようになる。したがって単に画像を変形するだけではなく、見えていなかった面を示す図形を追加するように背景画像を変化させてもよい。次に、利用者が画像の下方向へ移動することにより画像変形が行われる場合について、図20および図21を参照して説明する。 Further, here, the image is deformed to generate a composite image having a stereoscopic effect. However, when the actual viewpoint position changes, a part of the surface that has not been seen until now can be seen. Therefore, the background image may be changed not only to deform the image but also to add a graphic indicating the surface that was not visible. Next, a case where image deformation is performed by the user moving downward in the image will be described with reference to FIGS. 20 and 21. FIG.
図20は、利用者が画像の下方向へ移動した場合の撮影画像を簡易に示す図である。図20において、点線で示される部分は、図10に示す利用者の像(利用者領域)の外縁を表しており、画像の下方向へ距離MD1だけ利用者が移動していることが分かる。このような移動態様であっても、中心座標Pmや画像の変形量の算出方法は、利用者が画像の左方向へ移動する場合と同様に計算することができる。 FIG. 20 is a diagram simply showing a captured image when the user moves downward in the image. In FIG. 20, the portion indicated by the dotted line represents the outer edge of the user image (user area) shown in FIG. 10, and it can be seen that the user has moved by a distance MD1 in the downward direction of the image. Even in such a movement mode, the calculation method of the center coordinates Pm and the deformation amount of the image can be calculated in the same manner as when the user moves to the left of the image.
図21は、利用者が図20に示すように下方向へ移動した場合の合成画像を示す図である。この図21に示されるように、立体的な背景を仮想的な視点が移動したかのように変形して利用者の像と合成することにより、その嗜好に応じた合成画像をインタラクティブに生成することが可能となる。 FIG. 21 is a diagram showing a composite image when the user moves downward as shown in FIG. As shown in FIG. 21, a three-dimensional background is transformed as if a virtual viewpoint has been moved and synthesized with a user's image to interactively generate a synthesized image according to the preference. It becomes possible.
また、利用者が画像の右方向または上方向へ移動する場合も同様に合成画像を生成することができる。さらに、利用者が画像の左下方向などの斜め方向へ移動する場合も、上記の計算手法を組み合わせることにより、容易に合成画像を生成することができる。次に、利用者が画像の手前方向(カメラへ近づく方向)へ移動することにより背景画像の画像変形が行われる場合について、図22および図23を参照して説明する。 Similarly, a composite image can be generated when the user moves rightward or upward in the image. Furthermore, even when the user moves in an oblique direction such as the lower left direction of the image, a combined image can be easily generated by combining the above calculation methods. Next, a case where the background image is deformed by the user moving toward the front of the image (the direction approaching the camera) will be described with reference to FIGS. 22 and 23. FIG.
図22は、利用者が画像の手前方向へ移動した場合の撮影画像を簡易に示す図である。図20において、点線で示される部分は、図10に示す利用者の顔の像(顔領域)の外縁を表しており、画像の手間方向へ利用者が移動する、すなわちカメラ10に近づくように移動していることが分かる。このような移動態様の場合には、中心座標Pmの変化によって、利用者の移動量を算出することはできない。しかし、人の顔の大きさは個体差はあってもそれほど極端な差はないため、平均的な顔の大きさに基づき、図9に示すステップS400の顔認識処理により認識される利用者の顔領域の面積と、利用者の立つ位置とを予め対応付けておくことは可能である。そこで、図9に示すステップS410において、中心座標の計算に代えて、利用者の顔領域の面積を計算し、ステップS420において、算出された顔領域の面積から対応する変形量を計算することができる。
FIG. 22 is a diagram simply showing a captured image when the user moves toward the front of the image. In FIG. 20, the part indicated by the dotted line represents the outer edge of the user's face image (face area) shown in FIG. 10, and the user moves in the troublesome direction of the image, that is, approaches the
具体的には、変形されていない(元の)背景画像に対応付けられた位置に立つ利用者の顔領域の(一般的な)面積を基準値として、算出された顔領域の面積の基準値に対するずれ量に基づき上記変形量を算出する。なお複数の利用者が存在する場合には、利用者の顔領域の面積の平均値を求めたり、撮影画像の中央近傍にいる利用者の顔領域の面積のみを使用するなど、様々な方法が考えられる。 Specifically, the reference value of the area of the calculated face area, with the (general) area of the face area of the user standing at the position associated with the unmodified (original) background image as the reference value The amount of deformation is calculated on the basis of the amount of deviation with respect to. If there are multiple users, there are various methods such as obtaining the average value of the user's face area or using only the area of the user's face area near the center of the captured image. Conceivable.
ここでの背景画像の変形態様としては、例えば利用者がカメラに近づけば、背景画像が遠くに配置されているように変形され、カメラから遠ざかれば背景画像が近くに配置されているように変形する態様が考えられる。このように背景画像を変形すれば、カメラの近くに利用者がいる場合には、当該利用者を広角レンズで撮影しているように見せることができ、またカメラから遠くに利用者がいる場合には、当該利用者を望遠レンズで撮影しているように見せることができる。また、顔領域の大きさに対応させて上記のように背景画像を変形する構成により、利用者はカメラに顔を近づけたり遠ざけたりするだけで簡単に背景画像を変形させることができる。 As a deformation mode of the background image here, for example, when the user approaches the camera, the background image is deformed so that it is arranged far away, and when the user moves away from the camera, the background image is arranged nearby. Deformation is possible. By transforming the background image in this way, if there is a user near the camera, it can appear as if the user is shooting with a wide-angle lens, and there is a user far away from the camera Can be seen as if the user is photographing with a telephoto lens. Further, with the configuration in which the background image is deformed as described above in accordance with the size of the face area, the user can easily deform the background image simply by moving the face closer to or away from the camera.
図23は、カメラが遠くに配置されているように画像変形された背景画像と、図22に示す利用者の像とを合成した合成画像を示す図である。この図23に示されるように、立体的な背景を仮想的な視点から広角で撮影したかのように(または望遠で撮影したかのように)変形して利用者の像と合成することにより、その嗜好に応じた合成画像をインタラクティブに生成することが可能となる。なお、遠くに配置されているように背景画像を見せるためには、背景画像である直方体の奥の面を縮小するように画像変形し、また近くに配置されているように背景画像を見せるためには、背景画像である直方体の奥の面を拡大するように画像変形すればよい。 FIG. 23 is a diagram illustrating a synthesized image obtained by synthesizing the background image that has been deformed so that the camera is disposed far away and the user image illustrated in FIG. 22. As shown in FIG. 23, a stereoscopic background is transformed from a virtual viewpoint as if it was photographed at a wide angle (or as if it was photographed at a telephoto position) and synthesized with a user image. It is possible to interactively generate a composite image according to the preference. In order to show the background image as if it is located far away, it is necessary to transform the image so as to reduce the inner surface of the rectangular parallelepiped, which is the background image, and to show the background image as if it is located nearby. In this case, the image may be deformed so as to enlarge the inner surface of the rectangular parallelepiped that is the background image.
以上のような背景画像変形処理は、前述したように落書き対象となる合成画像に含まれるべき背景画像に対しても同様になされるが、上記の説明に代えてこの処理内容の説明は省略する。 The background image deformation process as described above is performed in the same manner for the background image that should be included in the composite image to be graffiti as described above, but the description of the process content is omitted instead of the above description. .
また、以上のような背景画像変形処理は、簡単な計算により立体感ないし臨場感を有する背景画像を生成することができるが、例えばカメラの位置を中心として、仮想的な視線方向を回転させたり、利用者の位置を中心として仮想的な視点位置が回転するよう移動させたりする場合、単純な画像変形では画像の変化態様に違和感が生じる。すなわち、画像変形では、変形前の画像に対して新たな画像を追加することはないが、上記のように視線方向や視点位置が回転する場合、変化前には見えなかった新たな画像を追加するような変化態様でなければ違和感を生じる。このことは、上記実施形態のように、仮想的な視点位置が上下左右または前後方向に移動する場合にも、程度の差はあっても同様の違和感を生じることがある。そこで、以下に示す第2の実施形態では、仮想的な視線方向が(カメラの位置を中心として)回転する場合に、違和感のない立体感ないし臨場感を有する背景画像を生成することができる例を説明する。 In addition, the background image deformation processing as described above can generate a background image having a three-dimensional effect or a sense of presence by simple calculation. For example, the virtual gaze direction is rotated around the position of the camera. When the virtual viewpoint position is rotated around the user's position, the image change mode is uncomfortable with simple image deformation. That is, in the image transformation, a new image is not added to the image before the transformation, but when the line-of-sight direction and the viewpoint position are rotated as described above, a new image that was not seen before the change is added. If it is not such a change mode, a sense of incongruity is produced. This may cause the same discomfort even if there is a difference in degree even when the virtual viewpoint position moves in the vertical and horizontal directions or in the front-rear direction as in the above embodiment. Therefore, in the second embodiment shown below, when the virtual line-of-sight direction is rotated (centered on the camera position), an example of generating a background image having a three-dimensional feeling or a sense of realism without a sense of incongruity is generated. Will be explained.
<2.第2の実施形態>
本実施形態における自動写真作成装置の基本的な構成および動作は、前述した背景画像変形処理を除き、第1の実施形態の場合と同一であるので、同一の符号を付してその説明を省略する。以下では、第1の実施形態と異なる本実施形態における背景画像の変更処理の内容を説明する。
<2. Second Embodiment>
Since the basic configuration and operation of the automatic photo creation apparatus in this embodiment are the same as those in the first embodiment except for the background image deformation process described above, the same reference numerals are given and description thereof is omitted. To do. In the following, the content of the background image changing process in the present embodiment, which is different from the first embodiment, will be described.
本実施形態の背景画像変更処理は、背景画像を変形するのではなく、新たな背景画像を追加することにより背景画像を変化させる構成であって、図9に示す背景画像変形処理における顔認識処理(S400)および中心座標計算(S410)と同一の処理を行い、変形量計算(S420)と同様の計算により変形量に相当する変化量を算出する。したがって、第2の実施形態では、第1の実施形態における画像変形処理(S430)に代えて、以下のような画像変更処理を行う。 The background image change process according to the present embodiment is a configuration in which the background image is changed by adding a new background image instead of deforming the background image, and the face recognition process in the background image deformation process shown in FIG. The same processing as (S400) and center coordinate calculation (S410) is performed, and a change amount corresponding to the deformation amount is calculated by the same calculation as the deformation amount calculation (S420). Accordingly, in the second embodiment, the following image change process is performed instead of the image deformation process (S430) in the first embodiment.
この画像変更処理では、予め定められた背景画像を変形させるのではなく、仮想的な視線方向(または視点位置)が回転することにより、変化前には見えなかった新たな画像を追加するように(また変化前には見えていた画像を部分的に消去するように)背景画像を変更する。以下、図24から図27までを参照して詳しく説明する。 In this image change processing, a predetermined background image is not deformed, but a virtual image direction (or viewpoint position) is rotated so that a new image that was not seen before the change is added. The background image is changed (so that the image that was visible before the change is partially erased). Hereinafter, a detailed description will be given with reference to FIGS.
図24は、背景画像を上記のように変更することなく合成した合成画像を示す図である。この図24に示される背景画像は、3次元データ(立体モデルデータ)に基づき生成される背景画像であって、基準となる位置に利用者が立つ場合、すなわち上述した変形量に相当する変化量がゼロとなる中央位置に利用者が立つ場合に生成されるべき背景画像である。図24に示されるように、この背景画像も、第1の実施形態における図12に示す背景画像と同様に、利用者が(直方体の)部屋の中にいるように感じられるものとなっている。なお、図12の場合と同様、当該直方体の(見えている)内面に部屋の壁紙を示すような模様や、立体的に描かれた家具などを示す図形などが当該面に描かれていてもよい。もっともここでは、図12の場合とは異なり、頂点W1,W2,W3,W4を有する窓を表す四辺形(以下「四辺形W」という)が描かれている。この図24に示す背景画像は、具体的には直方体を表す3次元データと、当該直方体における利用者の仮想的な位置と、仮想的な視点位置とに基づき生成される。この生成手法について、図25を参照して詳しく説明する。 FIG. 24 is a diagram showing a composite image that is synthesized without changing the background image as described above. The background image shown in FIG. 24 is a background image generated based on three-dimensional data (stereoscopic model data), and when the user stands at a reference position, that is, a change amount corresponding to the above-described deformation amount. This is a background image to be generated when the user stands at the center position where becomes zero. As shown in FIG. 24, this background image also feels as if the user is in a (cuboid) room, like the background image shown in FIG. 12 in the first embodiment. . As in the case of FIG. 12, even if a pattern showing a room wallpaper on the inner surface (visible) of the rectangular parallelepiped or a figure showing furniture three-dimensionally drawn is drawn on the surface. Good. However, unlike the case of FIG. 12, a quadrilateral representing a window having vertices W1, W2, W3, and W4 (hereinafter referred to as “quadrangle W”) is depicted. Specifically, the background image shown in FIG. 24 is generated based on three-dimensional data representing a rectangular parallelepiped, the virtual position of the user in the rectangular parallelepiped, and the virtual viewpoint position. This generation method will be described in detail with reference to FIG.
図25は、3次元データに基づき図24に示す背景画像を生成する手法を簡易に示す図である。この図25に示されるように、利用者は頂点C1,C2,C3,C4,B1,B2,B3,B4を有する直方体であって上記のように仮想的な立体背景となる直方体の中央付近に立っているような仮想的な位置を与えられている。そして、図中に示される仮想的な視点位置Vpから所定の画角で利用者が立つ方向を見た時に、背景となるべき直方体のうち、頂点P1,P2,P3,P4からなる矩形により示される可視範囲内(撮影範囲内)に見えるべき、背景となる直方体の内面(具体的には頂点P1,P2,B2,B1を有する左側面、頂点B4,B3,P3,P4を有する右側面、頂点B2,P2,P3,B3を有する床面、頂点P1,B1,B4,P4を有する天面、および頂点B1,B2,B3,B4を有する背面)や、右側面に描かれた上記四辺形Wなどが背景画像として生成される。ここで、上記仮想的な視点位置Vpは、図25に示す直方体の一面である頂点C1,C2,C3,C4からなる矩形により示される面上(ここでは説明の便宜によって面の中心)に位置するよう定められている。この視点位置Vpは、カメラ10の実際の配置位置に対応するよう定められており、上記画角はこのカメラ10の画角と一致するように定められている。そうすれば、実際の撮影画像である利用者の像と合成することにより、あたかも実際に背景として存在するかのような臨場感が得られる。
FIG. 25 is a diagram simply showing a method for generating the background image shown in FIG. 24 based on the three-dimensional data. As shown in FIG. 25, the user is a rectangular parallelepiped having vertices C1, C2, C3, C4, B1, B2, B3, and B4, and is located near the center of the rectangular parallelepiped as a virtual three-dimensional background as described above. Given a virtual position like standing. And, when the user stands in a predetermined angle of view from the virtual viewpoint position Vp shown in the figure, among the rectangular parallelepipeds that should be the background, the rectangles made up of vertices P1, P2, P3, and P4 are shown. A rectangular parallelepiped as a background (specifically, a left side having vertices P1, P2, B2, and B1, a right side having vertices B4, B3, P3, and P4). The floor surface having vertices B2, P2, P3, B3, the top surface having vertices P1, B1, B4, and P4, and the back surface having vertices B1, B2, B3, and B4) and the quadrilateral drawn on the right side surface W or the like is generated as a background image. Here, the virtual viewpoint position Vp is located on a plane (here, the center of the plane for convenience of explanation) indicated by a rectangle made up of vertices C1, C2, C3, and C4 that are one side of the rectangular parallelepiped shown in FIG. It is stipulated to do. The viewpoint position Vp is determined so as to correspond to the actual arrangement position of the
なお、図24では、説明の便宜のため、利用者が仮想的に立つ位置は、画角により定まる上記可視範囲の境界位置上にあるように示されているが、実際には十分な立体感および臨場感が得られるよう適宜に定められる。また、図25では、直方体の形状をわかりやすく示すため、当該直方体を右上前方から見下ろすように示し、非透明の壁(面)により構成される直方体において、背景画像として表示される部分であって、かつ上記のように右上前方から見下ろした時に隠れていない辺を実線で示している。 In FIG. 24, for convenience of explanation, the position where the user stands virtually is shown as being on the boundary position of the visible range determined by the angle of view. It is determined as appropriate so that a sense of reality can be obtained. Also, in FIG. 25, in order to show the shape of the rectangular parallelepiped in an easy-to-understand manner, the rectangular parallelepiped is shown as looking down from the upper right front, and is a portion displayed as a background image in a rectangular parallelepiped composed of a non-transparent wall (surface). And the side which is not hidden when it looks down from the upper right front as mentioned above is shown as the continuous line.
次に、利用者が図の右方向(利用者から見て左方向)へ移動する場合、その移動量に応じて背景画像が変化し、以下の図26に示されるように、図の右側の今まで見えていなかった背景画像の一部(ここでは直方体の右側面の一部)が新たに現れるように変化する。以下、このような場合における背景画像の生成手法について、図26および図27を参照して説明する。 Next, when the user moves in the right direction in the figure (left direction as viewed from the user), the background image changes according to the amount of movement, and as shown in FIG. A part of the background image that has not been seen until now (here, part of the right side of the rectangular parallelepiped) changes so as to newly appear. Hereinafter, a background image generation method in such a case will be described with reference to FIGS. 26 and 27. FIG.
図26は、背景画像を上記のように変更し合成した合成画像を示す図である。この図26に示される背景画像は、図24に示される利用者の像の位置近傍である基準となる位置から、図の右方向へ所定距離だけ移動した位置に利用者が立つ場合に生成されるべき画像である。この図26に示される背景画像を、図24に示される背景画像と比較すればわかるように、図24に示される背景画像の左端部近傍に位置する直方体の左側面を表す頂点P1,P2,B2,B1を有する四辺形は、図26に示す背景画像では可視範囲内からは見えないものとして消去されており、図24には表示されていなかった背景画像の右端部近傍に位置する直方体の右側面の一部が図26においては新たに表示されている。 FIG. 26 is a diagram illustrating a combined image obtained by changing the background image as described above and combining the background images. The background image shown in FIG. 26 is generated when the user stands at a position moved by a predetermined distance in the right direction in the figure from the reference position in the vicinity of the position of the user image shown in FIG. It should be an image. As can be seen by comparing the background image shown in FIG. 26 with the background image shown in FIG. 24, the vertices P1, P2, which represent the left side of the rectangular parallelepiped located near the left end of the background image shown in FIG. The quadrilateral having B2 and B1 is erased as being invisible in the visible range in the background image shown in FIG. 26, and is a rectangular parallelepiped located near the right end of the background image that was not displayed in FIG. A part of the right side is newly displayed in FIG.
このように背景画像が変化する場合、利用者の移動量に応じた変化量を適宜設定することにより、仮想的な視点位置Vpを中心として、視線方向が右方向(時計回り方向)へ回転したかのように見せることができる。すなわち、カメラ10は、実際には利用者しか撮影していない(なお厳密には利用者と背景画像をクロマキー合成するためのクロマキー色を付された背景を撮影している)にもかかわらず、あたかも直方体の部屋の内部に利用者が立っており、利用者が右方向に移動することに応じてカメラ10の撮影方向が変化したかのように感じされる背景画像を生成することができる。このような背景画像を生成するための手法について、図27を参照して詳しく説明する。
When the background image changes in this way, the line-of-sight direction is rotated rightward (clockwise) around the virtual viewpoint position Vp by appropriately setting the amount of change according to the amount of movement of the user. It can be shown as if That is, although the
図27は、3次元データに基づき図26に示す背景画像を生成する手法を簡易に示す図である。この図27に示されるように、利用者は仮想的な立体背景である直方体の中央付近から右方向へ移動した位置に立っているような仮想的な位置を与えられ、仮想的な視点位置Vpから所定の画角で利用者が立つ方向を見た時に、背景となるべき直方体のうち、頂点P1,P2,P3,P4からなる矩形により示される可視範囲内に、背景となる直方体の内面(具体的には頂点B4,B3,P3,P4を有する右側面、頂点B2,P2,P3,B3を有する床面、頂点P1,B1,B4,P4を有する天面、および頂点B1,B2,B3,B4を有する背面)や、右側面に描かれた上記四辺形Wなどが背景画像として生成される。 FIG. 27 is a diagram simply showing a method for generating the background image shown in FIG. 26 based on the three-dimensional data. As shown in FIG. 27, the user is given a virtual position such as standing in a position moved rightward from the vicinity of the center of the rectangular parallelepiped, which is a virtual solid background, and the virtual viewpoint position Vp. Of the rectangular parallelepiped serving as the background within the visible range indicated by the rectangle composed of the vertices P1, P2, P3, and P4 among the rectangular solids serving as the background when the user stands in a predetermined angle of view. Specifically, the right side surface having vertices B4, B3, P3, and P4, the floor surface having vertices B2, P2, P3, and B3, the top surface having vertices P1, B1, B4, and P4, and the vertices B1, B2, and B3 , B4) and the quadrilateral W drawn on the right side are generated as background images.
ここで、図27に示される上記仮想的な視点位置Vpは、図25を示して前述したようにカメラ10の実際の配置位置に対応するよう定められており、上記画角はこのカメラ10の画角と一致するように定められているが、図27に示す視線方向(撮影方向)は、図25に示す視線方向から所定角度だけ時計回りに回転している。このため、可視範囲内に見えるべき背景画像が変化する。このように仮想的な視点位置Vpから所定の画角で可視範囲内に見えるべき背景画像は、回転後の視線方向から3次元データに基づき周知の計算手法によって生成することができる。そうすれば、生成された背景画像と実際の撮影画像である利用者の像と合成することにより、利用者の移動に応じてカメラ10の撮影方向が変化(回転)し背景が変化するように見えるので、あたかも実際に背景として存在するかのような臨場感が得られる。
Here, the virtual viewpoint position Vp shown in FIG. 27 is determined so as to correspond to the actual arrangement position of the
ここで、立体背景である直方体の内面には、前述したように壁紙を模した模様や家具の絵などの画像が(例えばテクスチャマッピングの手法を用いて)貼り付けられているが、図26および図27に示される窓を表す四辺形Wは、直方体の右側面の一部ではなく、その開口部として取り扱われ、窓の外に景色が見えるかのように所定の風景を示す画像が貼り付けられる構成となっている。すなわち、(仮想的に)遠くに存在する風景の画像を予め用意しておき、仮想的な視点位置Vpから所定の視線方向で窓を示す四辺形W内に見えるべき風景の画像部分を計算により算出し、当該画像部分を視線方向の変化に応じて再計算しながら表示すれば、あたかも窓から風景が見えるかのような背景が実際に存在するかのような臨場感が得られる。 Here, on the inner surface of the rectangular parallelepiped that is a three-dimensional background, as described above, an image such as a pattern imitating wallpaper or a picture of furniture is pasted (for example, using a texture mapping technique). The quadrilateral W representing the window shown in FIG. 27 is not a part of the right side of the rectangular parallelepiped, but is handled as an opening thereof, and an image showing a predetermined landscape is pasted as if the scenery can be seen outside the window. It has a configuration that can be. That is, an image of a landscape that exists (virtually) in the distance is prepared in advance, and the image portion of the landscape that should be seen within the quadrilateral W showing the window in a predetermined viewing direction from the virtual viewpoint position Vp is calculated. If it is calculated and displayed while recalculating the image portion in accordance with the change in the line-of-sight direction, it is possible to obtain a sense of presence as if the background actually exists as if the scenery is visible from the window.
なお、本実施形態では、視線方向が図の左方向へ時計回りに回転する例で説明したが、右方向や、上下方向、前後方向など視線方向はどのように回転しても同様であり、回転位置も仮想的な視点位置Vpを中心軸にする必要はなく、利用者が立つ位置として仮想的に定められる位置など、適宜の位置を中心として回転させることにより視線方向を変化させる構成であってもよい。このように回転軸を変更することにより、見え方を変化させることができる。さらに前述したように、視線方向が回転するのではなく、第1の実施形態のように視点位置が左右方向、上下方向、および前後方向に移動するような態様であっても、周知の立体表示手法により同様に表示することができる。 In this embodiment, the example in which the line-of-sight direction rotates clockwise in the left direction in the figure is described, but the same is true regardless of how the line-of-sight direction rotates, such as the right direction, the vertical direction, and the front-back direction. The rotational position does not have to be the virtual viewpoint position Vp as the central axis, and the visual line direction is changed by rotating about an appropriate position such as a position virtually determined as a position where the user stands. May be. By changing the rotation axis in this way, the appearance can be changed. Furthermore, as described above, the known stereoscopic display is not necessary even when the viewpoint position moves in the left-right direction, the up-down direction, and the front-rear direction as in the first embodiment, instead of rotating the line-of-sight direction. It can be displayed in a similar manner by a technique.
次に、本実施形態の変形例について説明する。なお、以下では、説明の便宜上、第1の実施形態の変形例として説明するが、第2の実施形態の変形例としても同様の構成を適用することができる。 Next, a modification of this embodiment will be described. In the following, for convenience of explanation, a description will be given as a modification of the first embodiment, but the same configuration can be applied as a modification of the second embodiment.
<3.変形例>
<3.1 第1の変形例>
上記各実施形態では、撮影画像における利用者の顔領域の位置を顔認識処理によって認識することにより、認識された利用者の顔の位置に応じた変形量および変形方向に背景画像を変形させる構成であるが、背景画像の変形を利用者の顔領域の位置ではなく、向きに応じて行ってもよい。以下、図28および図29を参照して説明する。
<3. Modification>
<3.1 First Modification>
In each of the above embodiments, the background image is deformed in a deformation amount and a deformation direction according to the recognized user face position by recognizing the position of the user's face area in the captured image by face recognition processing. However, the deformation of the background image may be performed not according to the position of the face area of the user but according to the orientation. Hereinafter, a description will be given with reference to FIGS.
図28は、利用者の顔の向きが前を向いている場合の合成画像を示す図であり、図29は、利用者の顔の向きが右方向を向いている場合の合成画像を示す図である。この図28に示されるように、この合成画像に含まれる利用者の顔は前を向いているため、図13に示される合成画像と同様に、背景画像は変形されていない。このような利用者の顔の向きは、周知の顔認識処理、例えば顔に対する目の配置位置がいずれに偏っているかなどを検出することにより判定することができる。ここで、利用者が右方向(図の左方向)へ顔を向けると、顔認識処理に基づき利用者の顔の向きが右向きになったと判定され、背景画像は図16と同じく画像を見て奥側の面が右側方向に移動したような変形態様となる。このようにして得られる合成画像は、図29に示されるとおりである。このように変形すれば、当該直方体の背景画像に対する仮想的な視点位置が右側方向へ移動したかのように感じられる。したがって、実際の視点位置であるカメラ10の位置を移動させることなく、あたかもカメラ10を右側方向へ移動させたかのような立体感ないし臨場感を有する合成画像を生成することができる。
FIG. 28 is a diagram showing a composite image when the user's face is facing forward, and FIG. 29 is a diagram showing a composite image when the user's face is facing right. It is. As shown in FIG. 28, since the user's face included in this composite image is facing forward, the background image is not deformed as in the composite image shown in FIG. The orientation of the user's face can be determined by detecting a well-known face recognition process, for example, which of the eye positions the face is biased toward. Here, when the user turns his face to the right (left direction in the figure), it is determined based on the face recognition process that the user's face has turned to the right, and the background image is the same as in FIG. It becomes a deformation | transformation aspect that the surface of the back side moved to the right direction. The composite image obtained in this way is as shown in FIG. If it deform | transforms in this way, it will feel as if the virtual viewpoint position with respect to the background image of the said rectangular parallelepiped moved to the right direction. Therefore, it is possible to generate a composite image having a stereoscopic effect or a sense of presence as if the
なお、このときの変形量は、顔の(左右へ)向く角度に応じて決定されてもよいが、例えば利用者が左方向へ顔を向けた状態を維持すると、予め定められた一定の変形量で背景画像が変形する状態が継続し、利用者が顔を前方向に戻すと変形が停止する様な構成であってもよい。そうすれば、利用者は顔を前に向けて撮影が可能となり、かつ背景画像を所望の方向へ所望の変形量だけ簡単に変形させることができる。 Note that the amount of deformation at this time may be determined according to the angle of the face (to the left and right), but for example, if the user keeps the face facing leftward, a predetermined constant deformation The state may be such that the background image continues to be deformed by the amount, and the deformation stops when the user returns the face to the front. By doing so, the user can shoot with the face facing forward, and can easily deform the background image in a desired direction by a desired deformation amount.
また、この場合には、背景画像を変形させるのではなく、背景画像を所定方向へ移動する(スクロールする)ように変化させてもよい。すなわち、予め用意された背景画像の一部を表示するとともに、利用者の顔の向きに応じた方向へ表示されるべき背景画像の部分が変更されるように、背景画像を変化させてもよい。このような変化態様は、上記各実施形態においても適用可能である。 In this case, the background image may be changed so as to move (scroll) in a predetermined direction, instead of deforming the background image. That is, a part of the background image prepared in advance may be displayed, and the background image may be changed so that the part of the background image that should be displayed in the direction corresponding to the orientation of the user's face is changed. . Such a change aspect is applicable also in each said embodiment.
また、この第1の変形例を上述した第2の実施形態に適用することにより、例えば、利用者の顔の回転を検出した場合には、視線方向を視点位置Vpを中心に回転させ(図27参照)、顔の上下左右あるいは前後方向への移動を検出した場合には、視線方向を変えずに当該移動方向に応じた方向に視点位置Vpを移動させる、といった様々な構成が考えられ、各実施形態および各変形例はこのように適宜に組み合わせることができる。 Further, by applying the first modification to the second embodiment described above, for example, when rotation of the user's face is detected, the line-of-sight direction is rotated around the viewpoint position Vp (see FIG. 27), when movement of the face in the up / down / left / right or front / rear direction is detected, various configurations such as moving the viewpoint position Vp in the direction corresponding to the movement direction without changing the line-of-sight direction are conceivable. Each embodiment and each modification can be appropriately combined as described above.
<3.2 第2の変形例>
上記第1の実施形態では、利用者の位置に応じて背景画像を変形させる構成であるが、さらに前景画像を変化させる(ここではその位置を移動させる)構成であってもよい。以下、図30および図31を参照して説明する。
<3.2 Second Modification>
In the first embodiment, the background image is deformed according to the position of the user. However, the foreground image may be further changed (here, the position is moved). Hereinafter, a description will be given with reference to FIGS. 30 and 31. FIG.
図30は、背景画像を変形することなくかつ前景画像を移動することなく合成した合成画像を示す図であり、図31は、背景画像を変形し、かつ前景画像を移動して合成した合成画像を示す図である。図31に示される部屋の一部を示す直方体形状の背景画像は、図30と比較すれば分かるように、上記第1の実施形態と同様に利用者の移動方向と反対方向に変形している。また、図31に示される柵を示す形状の前景画像は、図30と比較すれば分かるように、利用者の移動方向と同一方向に移動している。 FIG. 30 is a diagram illustrating a composite image that is synthesized without changing the background image and without moving the foreground image, and FIG. 31 is a composite image that is synthesized by deforming the background image and moving the foreground image. FIG. As shown in FIG. 30, the rectangular parallelepiped background image showing a part of the room shown in FIG. 31 is deformed in the direction opposite to the moving direction of the user as in the first embodiment. . In addition, the foreground image of the shape showing the fence shown in FIG. 31 moves in the same direction as the movement direction of the user, as can be seen from comparison with FIG.
このように前景画像を移動させると、背景画像の変形と相まって、当該背景画像および前景画像に対する仮想的な視点位置が右側方向へ移動したかのように感じられる。したがって、実際の視点位置であるカメラ10の位置を移動させることなく、あたかもカメラ10を右側方向へ移動させたかのような立体感ないし臨場感を有する合成画像を生成することができる。なお、前景画像は、上記のような立体感ないし臨場感を与えられるような動き方であればよく、また背景画像と同様に同一方向または逆方向に変形される構成であってもよい。また、前景画像は、背景画像と同様に、奥行きが感じられるような形状であってもよく、また、表示面に対して垂直方向に異なる奥行きが感じられるように描かれた複数の平面などであってもよい。さらに、背景画像と前景画像とを共に変化させる構成でなく、前景画像のみを変形させる構成であってもよい。
When the foreground image is moved in this way, it is felt as if the virtual viewpoint position with respect to the background image and the foreground image has moved in the right direction in combination with the deformation of the background image. Therefore, it is possible to generate a composite image having a stereoscopic effect or a sense of presence as if the
また、上記前景画像は、利用者が前後方向(すなわちカメラに接近しまたは離隔する方向)へ移動すると、利用者の位置に応じて拡大または縮小される構成であってもよいが、このときの仮想的な視点位置から見て、利用者の仮想的な位置が前景画像の仮想的な位置よりも前になることも考えられる。この場合には、前景画像を背景画像として(利用者の像に隠されるように)取り扱う構成であってもよい。 In addition, the foreground image may be configured to be enlarged or reduced according to the position of the user when the user moves in the front-rear direction (that is, in the direction of approaching or moving away from the camera). It can be considered that the virtual position of the user is in front of the virtual position of the foreground image when viewed from the virtual viewpoint position. In this case, the foreground image may be handled as a background image (so as to be hidden by the user's image).
<3.3 第3の変形例>
上記第1の実施形態では、利用者の位置に応じて背景画像を変形させる構成であり、上記第1の変形例では利用者の(顔の)向きに応じて背景画像を変形させる構成であるが、カメラの配置位置または向き(撮影方向)に応じて背景画像を変形させる構成との組み合わせであってもよい。
<3.3 Third Modification>
In the first embodiment, the background image is deformed according to the position of the user. In the first modification, the background image is deformed according to the orientation of the user (face). However, a combination with a configuration in which the background image is deformed according to the arrangement position or orientation (shooting direction) of the camera may be used.
すなわち、上記第1(または第2)の実施形態におけるカメラ10は、撮影ユニット3の所定位置に固定されているが、このカメラ10に代えて、配置位置および向きの少なくとも一方を変更可能なカメラと、その配置位置または向きを検出するセンサとが設けられる構成であってもよい。具体的には、撮影ユニット3の内面に可動アームなどの取り付け器具により取り付けられたカメラや、利用者が把持できる大きさおよび形状を有するカメラ(およびその把持部)を設け、その取り付け器具におけるジョイント部分の角度や、撮影ユニット3の内壁との距離を計測するセンサなどを設ける構成などが考えられる。
That is, the
また、それぞれ異なる位置に取り付けられた複数のカメラ、例えば、利用者の全身を撮影するための全身用カメラと、一部を拡大して撮影するためのアップ撮影用カメラとが設けられ、これらの少なくとも一方の撮影方向や配置位置の変化に応じて背景画像を変形させる構成などであってもよい。 In addition, a plurality of cameras mounted at different positions, for example, a whole-body camera for photographing the whole body of the user and an up-shooting camera for enlarging a part of the camera are provided. A configuration in which the background image is deformed according to a change in at least one of the shooting direction and the arrangement position may be employed.
さらに、カメラの位置(または向き)が変化する時に、利用者がカメラの撮影範囲の中央に位置するものとして、当該利用者の位置を中心としてカメラの位置(または向き)の変化方向と反対の方向に背景画像をスクロールさせると、背景画像の変化に立体感ないし臨場感を感じることができる。 Furthermore, when the camera position (or orientation) changes, it is assumed that the user is located in the center of the camera shooting range, and the camera position (or orientation) changes in the opposite direction to the camera position (or orientation). When the background image is scrolled in the direction, it is possible to feel a three-dimensional effect or a sense of reality in the change of the background image.
このように変化するカメラの位置および向きの一方に応じて、背景画像を上記第1の実施形態のように変形させ、または(スクロールのような形などで)背景画像を変化させることにより、利用者が立体感や臨場感などの遊戯性を十分に得ることができる。 By changing the background image as in the first embodiment or changing the background image (such as in a scroll-like form) according to one of the camera position and orientation changing in this way A person can sufficiently obtain playability such as a three-dimensional feeling and a sense of reality.
<3.4 その他の変形例>
上記各実施形態および上記第1および第2の変形例では、直方体の背景画像を例に説明したが、奥行きが感じられるような背景画像であればどのような形状や模様、色彩等を有するものであってもよく、また複数の背景画像を組み合わせることにより奥行きが感じられるものであってもよい。例えば、遠くの山を描いた平面画像を第1の背景画像として含み、さらに描かれた山の絵と利用者との間に(仮想的に)配置される木や建物を描いた平面画像を第2の背景画像として含む構成では、上記第1の背景画像は利用者の位置(に対応する仮想的な視点)が変化してもその配置位置(合成位置)を変化させず、第2の背景画像は利用者の位置に応じてその配置位置を変化させるようにすれば、第2の背景画像が第1の背景画像よりも手前に感じられるため、背景画像全体として奥行きが感じられるものとなる。また、上記平面画像に代えて、第2の実施形態のような直方体に類似の立体構造や、その他の3次元構造を記述するデータに基づき、(仮想的な)視点の変化に応じて形状が変化するように描かれる立体的な画像が背景画像として使用されてもよい。
<3.4 Other Modifications>
In each of the above-described embodiments and the first and second modified examples, a rectangular parallelepiped background image has been described as an example. However, any shape, pattern, color, or the like may be used as long as the background image has a sense of depth. The depth may be felt by combining a plurality of background images. For example, a plane image depicting a distant mountain is included as a first background image, and a plane image depicting a tree or a building (virtually) placed between the depicted mountain picture and the user. In the configuration including the second background image, the first background image does not change the arrangement position (composite position) even if the position of the user (the virtual viewpoint corresponding thereto) changes. If the arrangement position of the background image is changed according to the position of the user, the second background image can be felt in front of the first background image, so that the depth of the entire background image can be felt. Become. Further, instead of the above planar image, the shape is changed according to a change in (virtual) viewpoint based on data describing a three-dimensional structure similar to a rectangular parallelepiped as in the second embodiment or other three-dimensional structures. A three-dimensional image drawn so as to change may be used as the background image.
<4.効果>
以上のように上記第1または第2の実施形態もしくはそれらの各変形例(以下、単に「「本実施形態」という)の自動写真作成装置は、利用者の位置または向き(さらには上記変形例に示すようにカメラの位置または向き)を検出し、予め定められた背景画像を検出される位置または向きに基づき変化させ、利用者の像とともに表示するよう制御するとともに、合成画像に含まれるべき撮影画像が取得される時点において検出される位置または向きに基づき、同じく変化させた背景画像を撮影画像に合成した合成画像を写真シールとして出力するので、表示される合成画像や、出力される写真シールにおいて、利用者が立体感や臨場感などの遊戯性を十分に得ることができる。
<4. Effect>
As described above, the automatic photo creating apparatus according to the first or second embodiment or each of the modified examples thereof (hereinafter simply referred to as “the present embodiment”) is the user's position or orientation (and the modified example described above). The position or orientation of the camera as shown in FIG. 5 is detected, a predetermined background image is changed based on the detected location or orientation, and is controlled to be displayed together with the user's image, and should be included in the composite image Based on the position or orientation detected when the captured image is acquired, a composite image obtained by combining the changed background image with the captured image is output as a photo sticker. In the seal, the user can sufficiently obtain playability such as a three-dimensional effect and a sense of reality.
また本実施形態によれば、撮影画像に含まれる利用者の顔領域を認識することにより、利用者の位置または向きを検出するので、簡単にかつセンサなどを設けることなく安価に利用者の位置を計測することができる。 According to the present embodiment, since the position or orientation of the user is detected by recognizing the user's face area included in the captured image, the position of the user can be easily and inexpensively provided without providing a sensor or the like. Can be measured.
さらに、本実施形態によれば、利用者が複数である場合、撮影画像に含まれる利用者の顔領域をそれぞれ認識することにより、複数の利用者に対応する1つの位置を検出するので、センサなどで複数の利用者それぞれの位置を検出する構成よりも正確に位置を検出することができる。すなわち、複数の利用者は、写真に確実に写るよう、その顔が隠れないように自らの位置を設定するため、複数の利用者の顔領域が重ならず、顔領域の誤検出によって、利用者の位置が誤って算出されることがないため、正確に検出することができる。 Furthermore, according to the present embodiment, when there are a plurality of users, one position corresponding to the plurality of users is detected by recognizing each face area of the user included in the captured image. Thus, the position can be detected more accurately than the configuration of detecting the position of each of a plurality of users. In other words, multiple users set their own positions so that their faces are not hidden so that they can be reliably captured in a photo. Since the position of the person is not erroneously calculated, it can be accurately detected.
また、本実施形態によれば、基準位置に対する、撮影画像内における顔領域の位置(中心位置)のずれ量およびずれ方向に基づき、利用者の位置が検出されるので、利用者がその位置を(例えば左右方向へ)移動し顔領域の位置を移動させるだけで、その移動量に応じた変形量で、簡単に背景画像を変形させることができる。 Further, according to the present embodiment, since the position of the user is detected based on the shift amount and the shift direction of the position (center position) of the face area in the captured image with respect to the reference position, the user sets the position. By simply moving (for example, in the left-right direction) and moving the position of the face area, the background image can be easily deformed with a deformation amount corresponding to the movement amount.
さらに、本実施形態によれば、基準となる大きさに対する、撮影画像内における顔領域の大きさのずれ量に基づき、利用者の位置が検出されるので、利用者がその位置を(ここでは前後方向へ)移動し顔領域の位置を移動させるだけで、その移動量に応じた変形量で、簡単に背景画像を変形させることができる。 Furthermore, according to the present embodiment, since the position of the user is detected based on the amount of deviation of the size of the face area in the captured image with respect to the reference size, the user can change the position (here, The background image can be easily deformed with the amount of deformation corresponding to the amount of movement by simply moving the position of the face region by moving in the front-rear direction.
また、本実施形態によれば、利用者の位置の変化方向と略同一方向または略反対方向に背景画像を変化させるので、カメラの位置が固定されている場合にも仮想的な視点が変化することにより、あたかもカメラを移動させたかのような立体感ないし臨場感を有する合成画像を生成することができる。 In addition, according to the present embodiment, the background image is changed in the direction substantially the same as or substantially opposite to the direction of change of the user's position, so that the virtual viewpoint changes even when the camera position is fixed. As a result, it is possible to generate a composite image having a three-dimensional feeling or a sense of presence as if the camera was moved.
さらに本実施形態によれば、奥行きが感じられるよう予め形成されている直方体などの形状を有する背景画像の少なくとも一部を、利用者の位置の変化方向と略同一方向または略反対方向に変形させるので、図形の簡単な変形処理だけで立体感ないし臨場感を有する合成画像を生成することができる。 Furthermore, according to the present embodiment, at least a part of a background image having a shape such as a rectangular parallelepiped that is formed in advance so as to feel the depth is deformed in a direction substantially the same as or substantially opposite to the direction of change of the user's position. Therefore, it is possible to generate a composite image having a stereoscopic effect or a realistic sensation only by simple deformation processing of a figure.
本実施形態の第3の変形例によれば、カメラは移動可能に構成され、この位置または向きが検出され、その位置または向きに基づき、背景画像が変化するので、カメラの移動に応じて利用者が立体感や臨場感などの遊戯性を十分に得ることができる。 According to the third modification of the present embodiment, the camera is configured to be movable, the position or orientation is detected, and the background image changes based on the position or orientation, so that the camera is used according to the movement of the camera. A person can sufficiently obtain playability such as a three-dimensional feeling and a sense of reality.
3…撮影ユニット
4…編集ユニット
5…出力ユニット
6…ネットワーク(LAN)
10…カメラ
20…撮影操作用タッチパネル
30…出力操作用タッチパネル
35…ネットワークプリンタ
31…赤外線ポート
32…スピーカ
70…第1の制御部
72…第1の表示・操作部(撮影操作用タッチパネル)
80…第2の制御部
81,82…第2の表示・操作部(編集操作用タッチパネル)
90…第3の制御部
91…第3の表示・操作部(出力操作用タッチパネル)
92…印刷出力部(ネットワークプリンタ)
94…非接触通信部(赤外線ポート)
400…編集操作用タッチパネル
F1,F2…顔領域
Pm…中心座標
3 ... Shooting unit 4 ... Editing
DESCRIPTION OF
80 ...
90 ...
92 ... Print output section (network printer)
94 ... Non-contact communication part (infrared port)
400 ... Touch panel for editing operation F1, F2 ... Face area Pm ... Center coordinates
Claims (10)
前記利用者の位置または向きを検出する検出手段と、
表示手段と、
前記撮影手段により連続的に取得される前記撮影画像に含まれる前記利用者の像に対して背景となるよう予め定められた背景画像を、前記検出手段により検出される位置または向きに基づき変化させ、前記利用者の像とともに前記表示手段に連続的に合成表示させる合成表示制御手段と、
前記合成画像に含まれるべき撮影画像が取得される時点において、前記検出手段により検出される位置または向きに基づき、前記合成表示制御手段による変化と同じく変化させた背景画像を、前記撮影手段により取得される前記撮影画像に合成した合成画像を生成する合成画像生成手段と
を備えることを特徴とする、自動写真作成装置。 An automatic photo creation device comprising a photographing means for photographing a user and an output means for outputting a composite image including a photographed image acquired by the photographing means as a photograph,
Detecting means for detecting the position or orientation of the user;
Display means;
Based on the position or orientation detected by the detection means, a background image predetermined to be a background with respect to the image of the user included in the captured image continuously acquired by the imaging means is changed. , Combined display control means for continuously combining and displaying on the display means together with the image of the user;
When the captured image to be included in the composite image is acquired, the background image that has been changed in the same manner as the change by the composite display control unit is acquired by the image capturing unit based on the position or orientation detected by the detection unit. An automatic photo creation apparatus, comprising: composite image generation means for generating a composite image combined with the captured image.
前記検出手段は、前記撮影手段の位置または向きを検出し、
合成表示制御手段は、前記検出手段により検出される前記撮影手段の位置または向きに基づき、前記背景画像を変化させることを特徴とする、請求項1に記載の自動写真作成装置。 The photographing means is configured to be movable to a desired position in the vicinity by the user,
The detecting means detects the position or orientation of the photographing means;
2. The automatic photo creation apparatus according to claim 1, wherein the composite display control means changes the background image based on the position or orientation of the photographing means detected by the detection means.
撮像手段により利用者の撮影を行う撮影ステップと、
前記撮影ステップにおいて取得される撮影画像を含む合成画像を写真として出力する出力ステップと、
前記利用者の位置または向きを検出する検出ステップと、
表示ステップと、
前記撮影ステップにおいて連続的に取得される前記撮影画像に含まれる前記利用者の像に対して背景となるよう予め定められた背景画像を、前記検出ステップにおいて検出される位置または向きに基づき変化させ、前記利用者の像とともに前記表示ステップにおいて連続的に合成表示させる合成表示制御ステップと、
前記合成画像に含まれるべき撮影画像が取得される時点において、前記検出ステップにおいて検出される位置または向きに基づき、前記合成表示制御ステップにおいて変化と同じく変化させた背景画像を、前記撮影ステップにおいて取得される前記撮影画像に合成した合成画像を生成する合成画像生成ステップと
を備えることを特徴とする、自動写真作成方法。 An automatic photo creation method,
A shooting step of shooting the user by the imaging means;
An output step of outputting a composite image including a photographed image acquired in the photographing step as a photograph;
A detecting step for detecting the position or orientation of the user;
A display step;
Based on the position or orientation detected in the detection step, a background image predetermined to be a background with respect to the user image included in the captured image continuously acquired in the imaging step is changed. A combined display control step for continuously combining and displaying in the display step together with the image of the user;
At the time when a captured image to be included in the composite image is acquired, a background image that is changed in the same manner as the change in the composite display control step is acquired in the capturing step based on the position or orientation detected in the detection step. And a synthesized image generating step of generating a synthesized image synthesized with the photographed image.
撮像手段により利用者の撮影を行う撮影ステップと、
前記撮影ステップにおいて取得される撮影画像を含む合成画像を写真として出力する出力ステップと、
前記利用者の位置または向きを検出する検出ステップと、
表示ステップと、
前記撮影ステップにおいて連続的に取得される前記撮影画像に含まれる前記利用者の像に対して背景となるよう予め定められた背景画像を、前記検出ステップにおいて検出される位置または向きに基づき変化させ、前記利用者の像とともに前記表示ステップにおいて連続的に合成表示させる合成表示制御ステップと、
前記合成画像に含まれるべき撮影画像が取得される時点において、前記検出ステップにおいて検出される位置または向きに基づき、前記合成表示制御ステップにおいて変化と同じく変化させた背景画像を、前記撮影ステップにおいて取得される前記撮影画像に合成した合成画像を生成する合成画像生成ステップと
を実行させることを特徴とする、プログラム。 On the computer,
A shooting step of shooting the user by the imaging means;
An output step of outputting a composite image including a photographed image acquired in the photographing step as a photograph;
A detecting step for detecting the position or orientation of the user;
A display step;
Based on the position or orientation detected in the detection step, a background image predetermined to be a background with respect to the user image included in the captured image continuously acquired in the imaging step is changed. A combined display control step for continuously combining and displaying in the display step together with the image of the user;
At the time when a captured image to be included in the composite image is acquired, a background image that is changed in the same manner as the change in the composite display control step is acquired in the capturing step based on the position or orientation detected in the detection step. And a synthesized image generating step of generating a synthesized image synthesized with the photographed image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011135633A JP2013003412A (en) | 2011-06-17 | 2011-06-17 | Automatic photograph creation device, automatic photograph creation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011135633A JP2013003412A (en) | 2011-06-17 | 2011-06-17 | Automatic photograph creation device, automatic photograph creation method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013003412A true JP2013003412A (en) | 2013-01-07 |
Family
ID=47672036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011135633A Pending JP2013003412A (en) | 2011-06-17 | 2011-06-17 | Automatic photograph creation device, automatic photograph creation method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013003412A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015045809A (en) * | 2013-08-29 | 2015-03-12 | フリュー株式会社 | Image processor, image processing method and program |
JP2019211683A (en) * | 2018-06-07 | 2019-12-12 | フリュー株式会社 | Photograph creation game machine, image processing method, and program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07162744A (en) * | 1993-12-09 | 1995-06-23 | Oyo Keisoku Kenkyusho:Kk | Moving image processor |
JPH1127577A (en) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | Image system with virtual visual point |
JP2002077586A (en) * | 2000-09-01 | 2002-03-15 | Omron Corp | Image printer |
JP2007328215A (en) * | 2006-06-09 | 2007-12-20 | Sony Corp | Imaging apparatus and imaging apparatus control method, and computer program |
JP2008131405A (en) * | 2006-11-21 | 2008-06-05 | Sony Corp | Imaging unit, image processing unit, image processing methods for the units, and program making computer execute the method |
JP2008270983A (en) * | 2007-04-17 | 2008-11-06 | Sanyo Electric Co Ltd | Camera shake correction device and camera shake correction method |
JP2010103651A (en) * | 2008-10-22 | 2010-05-06 | Casio Computer Co Ltd | Image processor and program |
JP2010136408A (en) * | 2010-01-06 | 2010-06-17 | Furyu Kk | Photo-printing apparatus, method of controlling the same, control program of the same, and computer readable recording media |
-
2011
- 2011-06-17 JP JP2011135633A patent/JP2013003412A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07162744A (en) * | 1993-12-09 | 1995-06-23 | Oyo Keisoku Kenkyusho:Kk | Moving image processor |
JPH1127577A (en) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | Image system with virtual visual point |
JP2002077586A (en) * | 2000-09-01 | 2002-03-15 | Omron Corp | Image printer |
JP2007328215A (en) * | 2006-06-09 | 2007-12-20 | Sony Corp | Imaging apparatus and imaging apparatus control method, and computer program |
JP2008131405A (en) * | 2006-11-21 | 2008-06-05 | Sony Corp | Imaging unit, image processing unit, image processing methods for the units, and program making computer execute the method |
JP2008270983A (en) * | 2007-04-17 | 2008-11-06 | Sanyo Electric Co Ltd | Camera shake correction device and camera shake correction method |
JP2010103651A (en) * | 2008-10-22 | 2010-05-06 | Casio Computer Co Ltd | Image processor and program |
JP2010136408A (en) * | 2010-01-06 | 2010-06-17 | Furyu Kk | Photo-printing apparatus, method of controlling the same, control program of the same, and computer readable recording media |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015045809A (en) * | 2013-08-29 | 2015-03-12 | フリュー株式会社 | Image processor, image processing method and program |
JP2019211683A (en) * | 2018-06-07 | 2019-12-12 | フリュー株式会社 | Photograph creation game machine, image processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5525923B2 (en) | Image processing program, image processing apparatus, image processing system, and image processing method | |
JP5739674B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
JP5602618B2 (en) | Image processing program, image processing apparatus, image processing system, and image processing method | |
JP5627973B2 (en) | Program, apparatus, system and method for game processing | |
JP5718603B2 (en) | Display control program, display control device, display control method, and display control system | |
US20200326831A1 (en) | Augmented reality experience creation via tapping virtual surfaces in augmented reality | |
US9196078B2 (en) | System and methods for displaying virtual space including a silhouette image | |
JP2012014680A (en) | Information processing program, information processor, information processing system and information processing method | |
US9737814B2 (en) | Computer readable medium storing image processing program of synthesizing images | |
JP2012074878A (en) | Image generation program, imaging device, imaging system, and image generation method | |
US20130057574A1 (en) | Storage medium recorded with program, information processing apparatus, information processing system, and information processing method | |
JP5782873B2 (en) | Game shooting device, game shooting method and program | |
JP5834423B2 (en) | Terminal device, display method, and program | |
JP2022183213A (en) | Head-mounted display | |
JP5602702B2 (en) | Image processing program, image processing apparatus, image processing system, and image processing method | |
JP2012175324A5 (en) | ||
JP5668514B2 (en) | Automatic photo creation device | |
JP2013003412A (en) | Automatic photograph creation device, automatic photograph creation method and program | |
JP7313811B2 (en) | Image processing device, image processing method, and program | |
JP6245529B2 (en) | Game shooting device, game shooting method and program | |
JP2018029343A (en) | Image processing apparatus, image processing method, and program | |
JP5895394B2 (en) | Game shooting device, game shooting method, and game shooting program | |
JP5632104B2 (en) | Game shooting device, processing method and program for game shooting device | |
JP5527460B2 (en) | Game shooting device, game shooting method and computer program | |
JP2002077586A (en) | Image printer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140521 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160510 |