JP2020101897A

JP2020101897A - Information processing apparatus, information processing method and program

Info

Publication number: JP2020101897A
Application number: JP2018238276A
Authority: JP
Inventors: 祥吾水野; Shogo Mizuno
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2020-07-02
Anticipated expiration: 2038-12-20
Also published as: JP7224894B2; JP7476375B2; JP2023053039A

Abstract

To set the amount of money according to advertising effect in a virtual viewpoint image.SOLUTION: An information processing apparatus includes: acquisition means for acquiring virtual viewpoint information indicating a position and direction of a virtual viewpoint corresponding to a virtual viewpoint image generated based on a plurality of captured images captured by a plurality of image capturing devices from different directions, respectively; and determination means for determining an amount of money according to a display mode of an advertisement image displayed in an advertisement frame in the virtual viewpoint image corresponding to the virtual viewpoint indicated by the virtual viewpoint information based on information indicating the advertisement frame preset in a virtual space and the virtual viewpoint information.SELECTED DRAWING: Figure 5

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像の生成及び閲覧は、サーバ等の画像処理部が複数のカメラが撮影した画像に基づいて、仮想視点に基づくレンダリングなどの処理を施し、ユーザ端末に仮想視点画像を表示することで実現できる。 In recent years, multiple cameras have been installed at different positions to perform multi-view synchronous shooting, and a multi-view image obtained by shooting is used to generate a virtual viewpoint image including not only an image at the camera installation position but also an arbitrary viewpoint. Technology is drawing attention. The generation and viewing of the virtual viewpoint image based on the multiple viewpoint images is performed by the image processing unit such as the server based on the images captured by the plurality of cameras, such as rendering based on the virtual viewpoint, and the virtual viewpoint image is displayed on the user terminal. It can be realized by displaying.

上記のような仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作することができるようになる。また、例えば、試合の映像から、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら試合観戦できるようになる。このように、従来の撮影画像と比較してユーザに高臨場感を与えることができる。 In the service using the virtual viewpoint image as described above, it becomes possible for the videographer to create a powerful viewpoint content from a video image of a soccer or basketball game, for example. Also, for example, from the video of the game, the user himself/herself viewing the content can freely watch the game while moving the viewpoint. In this way, it is possible to give the user a higher sense of realism as compared with a conventional captured image.

また、仮想視点画像に広告を表示、課金する技術も知られている。特許文献１には、仮想空間上に仮想広告枠を設けておき、仮想広告枠を含む仮想視点の映像データが送信される場合に、視聴環境に応じた広告情報を仮想広告枠に表示し、表示に応じて課金する技術が開示されている。 There is also known a technology for displaying an advertisement on a virtual viewpoint image and charging the advertisement. In Patent Document 1, a virtual advertisement frame is provided in a virtual space, and when video data of a virtual viewpoint including the virtual advertisement frame is transmitted, advertisement information according to the viewing environment is displayed in the virtual advertisement frame, A technique of charging according to the display is disclosed.

特開２０１４−４１２５９号公報JP, 2014-41259, A

しかしながら、従来の技術では、仮想広告による実際の広告効果に見合った広告料で課金することが困難であった。例えば、仮想広告枠の位置や大きさに基づいて広告料を設定した場合、広告料が同じであるにも関わらず、仮想視点の位置及び向きによっては、その仮想広告が視聴者にとって目につきやすい様態で仮想視点画像に表示される場合もあれば表示されない場合もある。また、表示されるとしても、視聴者にとって目につきにくい位置や角度で表示される場合もある。 However, with the conventional technology, it is difficult to charge an advertisement fee commensurate with the actual advertisement effect of the virtual advertisement. For example, when the advertisement fee is set based on the position and size of the virtual advertisement frame, the virtual advertisement may be noticeable to the viewer depending on the position and orientation of the virtual viewpoint even though the advertisement fee is the same. It may or may not be displayed on the virtual viewpoint image in the same manner. Further, even if it is displayed, it may be displayed at a position or angle that is difficult for the viewer to see.

本発明はこのような問題点に鑑みなされたもので、仮想視点画像における広告効果に応じた金額を設定することを目的とする。 The present invention has been made in view of such problems, and an object thereof is to set an amount of money according to an advertising effect in a virtual viewpoint image.

そこで、本発明は、情報処理装置であって、複数の撮像装置によりそれぞれ異なる方向から撮影される複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の位置及び方向を示す仮想視点情報を取得する取得手段と、仮想空間に予め設定された広告枠を示す情報と前記仮想視点情報とに基づいて、前記仮想視点情報が示す仮想視点に対応する前記仮想視点画像における前記広告枠に表示される広告画像の表示様態に応じた金額を決定する決定手段とを有することを特徴とする。 Therefore, the present invention is an information processing device, and a virtual viewpoint indicating the position and direction of a virtual viewpoint corresponding to a virtual viewpoint image generated based on a plurality of captured images captured from different directions by a plurality of imaging devices. The advertisement frame in the virtual viewpoint image corresponding to the virtual viewpoint indicated by the virtual viewpoint information, based on an acquisition unit that acquires viewpoint information, information indicating an advertisement frame preset in a virtual space, and the virtual viewpoint information. And a deciding unit for deciding the amount of money according to the display mode of the advertisement image displayed in.

本発明によれば、仮想視点画像における広告効果に応じた金額を設定することができる。 According to the present invention, it is possible to set the amount of money according to the advertising effect in the virtual viewpoint image.

画像処理システムの全体図である。1 is an overall view of an image processing system. 撮像装置の設置例を示す図である。It is a figure which shows the example of installation of an imaging device. 画像生成装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of an image generation apparatus. 画像生成装置の機能構成を示す図である。It is a figure which shows the function structure of an image generation apparatus. 課金額決定処理を示すフローチャートである。It is a flowchart which shows a charge amount determination process. 仮想空間における広告領域を示す図である。It is a figure which shows the advertising area|region in virtual space. 広告画像の一例を示す図である。It is a figure which shows an example of an advertisement image. 仮想視点画像の表示例を示す図である。It is a figure which shows the example of a display of a virtual viewpoint image. 第２の実施形態に係る画像生成装置の機能構成図である。It is a functional block diagram of the image generation apparatus which concerns on 2nd Embodiment. 第２の実施形態に係る課金額決定処理を示すフローチャートである。It is a flowchart which shows the charge amount determination process which concerns on 2nd Embodiment. 仮想空間における広告領域と、看板広告を示す図である。It is a figure which shows the advertising area|region in virtual space, and a billboard advertisement. 仮想視点画像の表示例を示す図である。It is a figure which shows the example of a display of a virtual viewpoint image.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（第１の実施形態）
図１は、本実施形態に係る画像処理システム１００の全体図である。画像処理システム１００は、複数の撮像装置１１０と、情報処理装置の一例である画像生成装置１２０と、端末装置１３０と、を有している。各撮像装置１１０と画像生成装置１２０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。 (First embodiment)
FIG. 1 is an overall view of an image processing system 100 according to this embodiment. The image processing system 100 includes a plurality of imaging devices 110, an image generation device 120 that is an example of an information processing device, and a terminal device 130. The imaging devices 110 and the image generation device 120 are connected via a communication cable such as a LAN (Local Area Network) cable. In this embodiment, the communication cable is a LAN cable, but the communication cable is not limited to the embodiment.

図２は、撮像装置１１０の設置例を示す図である。本実施形態においては、複数の撮像装置１１０は、それぞれサッカー場のすべて又は一部を撮影するように設置されているものとする。つまり、本実施形態の画像処理システム１００には、被写体を複数の方向から撮影するための複数の撮像装置１１０が含まれる。撮像装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。撮影された画像は、撮像装置１１０から画像生成装置１２０に送信される。 FIG. 2 is a diagram illustrating an installation example of the imaging device 110. In the present embodiment, it is assumed that the plurality of imaging devices 110 are installed so as to photograph all or part of the soccer field. That is, the image processing system 100 according to the present embodiment includes a plurality of image pickup devices 110 for shooting a subject from a plurality of directions. The imaging device 110 is, for example, a digital camera capable of capturing images (still images and moving images). The captured image is transmitted from the imaging device 110 to the image generation device 120.

画像生成装置１２０は、撮像装置１１０により得られた撮像画像を蓄積する。画像生成装置１２０は、端末装置１３０におけるユーザ操作により、仮想視点情報が入力されると、撮像画像と仮想視点とに基づいて、仮想視点画像を生成する。ここで、仮想視点情報は、撮像画像から構築される仮想空間における仮想的な視点（仮想視点）の３次元的な位置と角度（視線方向）とを示す情報である。仮想視点情報は、撮影した競技場の中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、左右の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含むものとする。仮想視点画像は、仮想視点から撮影位置、撮影報告及び画角を仮定した場合に得られる仮想的な画像である。 The image generation device 120 accumulates the captured images obtained by the imaging device 110. When the virtual viewpoint information is input by a user operation on the terminal device 130, the image generating apparatus 120 generates a virtual viewpoint image based on the captured image and the virtual viewpoint. Here, the virtual viewpoint information is information indicating a three-dimensional position and an angle (line of sight) of a virtual viewpoint (virtual viewpoint) in a virtual space constructed from a captured image. The virtual viewpoint information is relative to a predetermined position such as the center of the stadium where it was photographed, that is, front and rear, left and right, and left and right position information with respect to the predetermined position, and the direction from the predetermined position, that is, front and rear, left and right, and up and down At least angle direction information is included. The virtual viewpoint image is a virtual image obtained when the shooting position, shooting report, and angle of view are assumed from the virtual viewpoint.

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像として、撮像装置１１０を介して保持しておく。また競技中の選手など被写体の存在するシーンでは、被写体となる特定のオブジェクト等の前景を画像処理により分離して、特定オブジェクト画像として保持しておく。なお、特定オブジェクトは、競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、審判など）であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。 The image generation device 120 is, for example, a server device and has a database function and an image processing function. In the database, an image of a scene of a competition venue where no subject is present, such as before the start of the competition, is stored as a background image via the image capturing device 110. Further, in a scene where a subject such as a player in a competition exists, the foreground of a specific object or the like to be the subject is separated by image processing and held as a specific object image. Note that the specific object may be not only a player who competes, but also another specific person (a substitute player, a manager, a referee, etc.), and is an object whose image pattern is predetermined such as a ball or a goal. May be.

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ−ＢａｓｅｄＲｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮像画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法であってもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に伝送される。 The virtual viewpoint image corresponding to the virtual viewpoint information is generated from the background image managed by the database and the specific object image. As a method of generating a virtual viewpoint image, for example, model-based rendering (MBR) is used. MBR is a method of generating a virtual viewpoint image using a three-dimensional model generated based on a plurality of captured images obtained by photographing a subject from a plurality of directions. Specifically, using the 3D shape (model) of the target scene obtained by the 3D shape restoration method such as the visual volume intersection method and the Multi-View-Stereo (MVS), the appearance of the scene from the virtual viewpoint can be determined. This is a technique for generating an image. The virtual viewpoint image generation method may be a rendering method other than MBR. The generated virtual viewpoint image is transmitted to the terminal device 130 via a LAN cable or the like.

端末装置１３０は、例えば、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）やタブレットである。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネルである。ユーザは、コントローラ１３１を操作し、画面上に静止画像や動画像を表示する。端末装置１３０は、例えば、画像生成装置１２０から受信した仮想視点画像を表示部１３２に表示する。端末装置１３０は、さらに、接続されたコントローラ１３１に対するユーザ操作に応じて、仮想視点の移動指示（移動量と移動方向に関する指示）を受け付け、受け付けた指示に応じた移動指示情報を示す伝送信号を画像生成装置１２０に送信する。ここで、移動指示は、仮想視点の設定指示の一例である。 The terminal device 130 is, for example, a PC (Personal Computer) or a tablet. The controller 131 is, for example, a mouse, a keyboard, a 6-axis controller, or a touch panel. The user operates the controller 131 to display a still image or a moving image on the screen. The terminal device 130 displays the virtual viewpoint image received from the image generation device 120 on the display unit 132, for example. The terminal device 130 further accepts a virtual viewpoint movement instruction (instruction regarding movement amount and movement direction) in response to a user operation on the connected controller 131, and transmits a transmission signal indicating movement instruction information corresponding to the received instruction. It is transmitted to the image generation device 120. Here, the movement instruction is an example of a virtual viewpoint setting instruction.

図３は、画像生成装置１２０のハードウェア構成を示す図である。画像生成装置１２０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、表示部３０５と、入力部３０６と、通信部３０７とを有している。ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データや各種プログラム等を記憶する。表示部３０５は、各種情報を表示する。入力部３０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部３０７は、ネットワークを介して撮像装置１１０等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、通信部３０７は、無線により外部装置との通信を行ってもよい。 FIG. 3 is a diagram showing a hardware configuration of the image generating apparatus 120. The image generating device 120 includes a CPU 301, a ROM 302, a RAM 303, an HDD 304, a display unit 305, an input unit 306, and a communication unit 307. The CPU 301 reads the control program stored in the ROM 302 and executes various processes. The RAM 303 is used as a main memory of the CPU 301 and a temporary storage area such as a work area. The HDD 304 stores various data and various programs. The display unit 305 displays various information. The input unit 306 has a keyboard and a mouse and receives various operations by the user. The communication unit 307 performs communication processing with an external device such as the imaging device 110 via the network. The network may be Ethernet (registered trademark). Further, as another example, the communication unit 307 may wirelessly communicate with an external device.

なお、後述する画像生成装置１２０の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２又はＨＤＤ３０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、端末装置１３０のハードウェア構成は、画像生成装置１２０のハードウェア構成と同様である。 The functions and processing of the image generating apparatus 120 described below are realized by the CPU 301 reading a program stored in the ROM 302 or the HDD 304 and executing the program. The hardware configuration of the terminal device 130 is the same as the hardware configuration of the image generating device 120.

図４は、画像生成装置１２０の機能構成を示す図である。画像生成装置１２０は、撮影画像取得部４０１と、前景背景分離部４０２と、撮影画像保持部４０３と、カメラパラメータ保持部４０４と、被写体形状生成部４０５と、入力受付部４０６と、仮想視点情報生成部４０７と、を有している。画像生成装置１２０はまた、仮想視点画像生成部４０８と、画像出力処理部４０９と、広告枠情報保持部４１０と、広告画像保持部４１１と、広告画像配置部４１２と、広告表示様態特定部４１３と、課金額設定部４１４と、を有している。 FIG. 4 is a diagram showing a functional configuration of the image generating apparatus 120. The image generation device 120 includes a captured image acquisition unit 401, a foreground/background separation unit 402, a captured image storage unit 403, a camera parameter storage unit 404, a subject shape generation unit 405, an input reception unit 406, and virtual viewpoint information. And a generation unit 407. The image generating apparatus 120 also includes a virtual viewpoint image generating unit 408, an image output processing unit 409, an advertisement frame information holding unit 410, an advertisement image holding unit 411, an advertisement image arrangement unit 412, and an advertisement display mode specifying unit 413. And a charge amount setting unit 414.

撮影画像取得部４０１は、撮像装置１１０からＬＡＮケーブルを介して入力された伝送信号を取得し、これを撮影画像に変換する。前景背景分離部４０２は、撮影画像取得部４０１から取得した撮影画像のうち、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像データとして、撮影画像保持部４０３へ格納する。また、前景背景分離部４０２は、競技中に撮影された画像から選手など被写体を抽出し、前景画像データとして撮影画像保持部４０３へ格納する。 The captured image acquisition unit 401 acquires a transmission signal input from the imaging device 110 via the LAN cable and converts the transmission signal into a captured image. The foreground/background separation unit 402 uses, as background image data, an image obtained by capturing a scene of a competition venue where no subject exists in advance, such as before the start of competition, among the captured images acquired from the captured image acquisition unit 401, as a captured image holding unit. Store in 403. Further, the foreground/background separation unit 402 extracts a subject such as a player from the image captured during the competition and stores it in the captured image storage unit 403 as foreground image data.

撮影画像保持部４０３は、データベースであり、前景背景分離部４０２から入力された撮影画像データのうち、被写体が存在しない状態で予め撮影された画像を背景画像データとして保存する。また背景画像データと被写体の存在する撮影画像データとの差分データを前景画像データとして保存する。 The captured image storage unit 403 is a database, and stores, as background image data, an image captured in advance in the absence of a subject among the captured image data input from the foreground/background separation unit 402. Further, the difference data between the background image data and the captured image data in which the subject exists is stored as foreground image data.

カメラパラメータ保持部４０４は、各撮像装置１１０の位置情報と、各撮像装置１１０の焦点距離やシャッタースピードなどのカメラ設定情報などをカメラパラメータとして、予め保持する。なお、各撮像装置１１０は、予め決められた位置に設置されるものとする。 The camera parameter holding unit 404 holds in advance the position information of each imaging device 110 and the camera setting information such as the focal length and shutter speed of each imaging device 110 as camera parameters. It should be noted that each imaging device 110 is installed at a predetermined position.

被写体形状生成部４０５は、撮影画像保持部４０３から前景画像データを取得し、カメラパラメータ保持部４０４からカメラパラメータを取得する。そして、被写体形状生成部４０５は、前景画像データとカメラパラメータとを用いて、被写体の形状を推定する。被写体形状生成部４０５は、例えば、視体積交差法などの三次元形状復元手法を用いて被写体の被写体形状情報を生成する。 The subject shape generation unit 405 acquires the foreground image data from the captured image holding unit 403, and acquires the camera parameter from the camera parameter holding unit 404. Then, the subject shape generation unit 405 estimates the shape of the subject using the foreground image data and the camera parameter. The subject shape generation unit 405 generates subject shape information of the subject using a three-dimensional shape restoration method such as the visual volume intersection method.

入力受付部４０６は、端末装置１３０からＬＡＮケーブルを介して入力された伝送信号をユーザ入力データに変換する。ユーザ入力データが仮想視点の設定指示である場合、設定指示を仮想視点情報生成部４０７へ送る。仮想視点情報生成部４０７は、入力受付部４０６から設定指示を取得すると、設定指示に従い、仮想空間内の位置と方向を含む仮想視点情報を更新する。なお、仮想空間の原点は競技場の中心などが仮想空間の原点として予め設定されているものとする。 The input receiving unit 406 converts a transmission signal input from the terminal device 130 via the LAN cable into user input data. When the user input data is a virtual viewpoint setting instruction, the setting instruction is sent to the virtual viewpoint information generation unit 407. When the virtual viewpoint information generation unit 407 acquires the setting instruction from the input reception unit 406, the virtual viewpoint information generation unit 407 updates the virtual viewpoint information including the position and direction in the virtual space according to the setting instruction. It is assumed that the origin of the virtual space is set in advance as the origin of the virtual space such as the center of the stadium.

仮想視点画像生成部４０８は、撮影画像保持部４０３から前景画像データと背景画像データを取得する。仮想視点画像生成部４０８は、カメラパラメータ保持部４０４からカメラパラメータを取得する。仮想視点画像生成部４０８は、被写体形状生成部４０５から被写体形状情報を取得する。仮想視点画像生成部４０８は、仮想視点情報生成部４０７から仮想視点情報を取得する。そして、仮想視点画像生成部４０８は、前景画像データと、背景画像データと、カメラパラメータと、被写体形状情報と、仮想視点情報とに基づき、背景画像データを仮想視点から見た形状に投影変換や画像処理を施して仮想視点画像の背景を生成する。 The virtual viewpoint image generation unit 408 acquires the foreground image data and the background image data from the captured image holding unit 403. The virtual viewpoint image generation unit 408 acquires the camera parameter from the camera parameter holding unit 404. The virtual viewpoint image generation unit 408 acquires subject shape information from the subject shape generation unit 405. The virtual viewpoint image generation unit 408 acquires virtual viewpoint information from the virtual viewpoint information generation unit 407. Then, the virtual viewpoint image generation unit 408 performs projection conversion of the background image data into a shape viewed from the virtual viewpoint based on the foreground image data, the background image data, the camera parameters, the subject shape information, and the virtual viewpoint information. Image processing is performed to generate the background of the virtual viewpoint image.

さらに、仮想視点画像生成部４０８は、仮想視点位置から見た被写体形状に対して、実カメラ（撮像装置１１０）で撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する。例えば、仮想視点から被写体形状情報に基づく被写体が見えている状況で、被写体形状情報の位置から所定の範囲内に撮像装置１１０が存在するとする。この場合、仮想視点画像生成部４０８は、この撮像装置１１０の前景画像データを形状モデルの色として使用する。また、仮想視点画像生成部４０８は、後述する広告画像配置部４１２から配置広告画像を取得し、仮想視点から見た背景画像と同様に、配置広告画像を投影変換して仮想視点画像の背景の一部として生成する。画像出力処理部４０９は、仮想視点画像生成部４０８が生成した画像データを、端末装置１３０へ伝送可能な伝送信号に変換して、端末装置１３０へ出力する。 Further, the virtual viewpoint image generation unit 408 renders (coloring) the object shape viewed from the virtual viewpoint position with the color information of the image data captured by the real camera (imaging device 110) to generate the virtual viewpoint image. To generate. For example, it is assumed that the imaging device 110 is present within a predetermined range from the position of the subject shape information in a situation where the subject based on the subject shape information is seen from the virtual viewpoint. In this case, the virtual viewpoint image generation unit 408 uses the foreground image data of the imaging device 110 as the color of the shape model. In addition, the virtual viewpoint image generation unit 408 acquires the placement advertisement image from the advertisement image placement unit 412 described below, and projects and transforms the placement advertisement image to convert the placement advertisement image into a background image of the virtual viewpoint image, similar to the background image viewed from the virtual viewpoint. Generate as part. The image output processing unit 409 converts the image data generated by the virtual viewpoint image generation unit 408 into a transmission signal that can be transmitted to the terminal device 130, and outputs the transmission signal to the terminal device 130.

広告枠情報保持部４１０は、仮想広告枠情報を保持する。ここで、仮想広告枠情報は、三次元の仮想空間における広告枠の位置及、向き及びサイズを示す情報である。ここで、広告枠は、広告画像が配置される平面状の領域を定める矩形枠である。広告枠の位置、向き及びサイズは予め定められているものとする。ここで、広告枠の向きとは、広告枠の面がいずれの方向を向いているかの指標値である。本実施形態においては、広告枠の面に対する垂線の方向を広告枠の向きと称するものとする。また、広告枠の形状も予め定められているものとする。ただし、形状は、矩形に限定されるものではなく、他の形状でもよい。また、本実施形態においては、広告枠は２次元の領域を定めるものであるが、広告枠は三次元の領域を定めるものであってもよい。 The advertising space information storage unit 410 stores virtual advertising space information. Here, the virtual advertisement frame information is information indicating the position, orientation, and size of the advertisement frame in the three-dimensional virtual space. Here, the advertisement frame is a rectangular frame that defines a planar area in which the advertisement image is arranged. The position, orientation, and size of the advertisement frame are predetermined. Here, the direction of the advertisement frame is an index value indicating in which direction the surface of the advertisement frame faces. In the present embodiment, the direction of the perpendicular to the surface of the advertisement frame is referred to as the direction of the advertisement frame. Further, the shape of the advertisement frame is also predetermined. However, the shape is not limited to a rectangle, and may be another shape. Further, in the present embodiment, the advertisement frame defines a two-dimensional area, but the advertisement frame may define a three-dimensional area.

例えば、競技場を撮影して得られた仮想空間の観客席壁面に広告枠が設定されたとする。この場合には、実際の競技場の壁面には広告が存在しないものの、実世界に基づく仮想空間を仮想視点から見た仮想視点画像においては、観客席壁面に広告画像が重畳される。このため、ユーザは、あたかも観客席壁面に広告が表示されているような仮想視点画像を視認することができる。 For example, it is assumed that an advertisement frame is set on the wall surface of a spectator seat in a virtual space obtained by photographing a stadium. In this case, although the advertisement does not exist on the wall of the actual stadium, the advertisement image is superimposed on the wall of the spectator seat in the virtual viewpoint image of the virtual space based on the real world viewed from the virtual viewpoint. Therefore, the user can visually recognize the virtual viewpoint image as if the advertisement is displayed on the wall surface of the spectator seat.

広告画像保持部４１１は、仮想空間に広告として表示する広告画像を保持する。広告画像は、例えば企業などの会社名ロゴや製品名ロゴ、製品イメージ等の画像である。広告画像は広告主から提供される。広告画像配置部４１２は、広告枠情報保持部４１０から仮想広告枠情報を取得し、広告画像保持部４１１から広告画像を取得する。広告画像配置部４１２は、仮想広告枠情報と広告画像とに基づき、仮想広告枠情報により特定される広告枠に広告画像を配置した配置広告画像を生成する。なお、本実施形態においては、説明の便宜上、広告枠情報保持部４１０には１つの広告枠情報のみが保持され、広告画像保持部４１１には、１つの広告画像のみが保存される場合の例を中心に説明する。ただしこれに限らず、広告枠情報保持部４１０に複数の広告に関する広告枠情報が保持され、広告画像保持部４１１に複数の広告画像が保持されていてもよい。この場合、各広告画像とその広告画像が配置される広告枠とを関連付ける情報が広告枠情報に含まれていてもよい。 The advertisement image holding unit 411 holds an advertisement image displayed as an advertisement in the virtual space. The advertisement image is, for example, a company name logo of a company or the like, a product name logo, a product image, or the like. The advertisement image is provided by the advertiser. The advertisement image placement unit 412 acquires the virtual advertisement frame information from the advertisement frame information holding unit 410 and acquires the advertisement image from the advertisement image holding unit 411. The advertisement image placement unit 412 generates a placement advertisement image in which the advertisement image is placed in the advertisement frame specified by the virtual advertisement frame information, based on the virtual advertisement frame information and the advertisement image. Note that, in the present embodiment, for convenience of description, an example in which only one advertisement frame information is stored in the advertisement frame information storage unit 410 and only one advertisement image is stored in the advertisement image storage unit 411. I will explain mainly. However, the present invention is not limited to this, and the advertisement frame information storage unit 410 may store advertisement frame information regarding a plurality of advertisements, and the advertisement image storage unit 411 may store a plurality of advertisement images. In this case, the advertisement frame information may include information that associates each advertisement image with the advertisement frame in which the advertisement image is arranged.

広告表示様態特定部４１３は、仮想視点画像生成部４０８から仮想視点画像を取得し、また広告画像配置部４１２から広告配置情報を取得する。ここで、広告配置情報は、配置広告画像における広告画像が配置された広告枠の位置、向き及びサイズ（面積）を示す情報である。広告表示様態特定部４１３は、仮想視点画像及び広告配置情報に基づいて、広告の表示様態を特定する。 The advertisement display mode specifying unit 413 acquires the virtual viewpoint image from the virtual viewpoint image generating unit 408, and also acquires the advertisement arrangement information from the advertisement image arranging unit 412. Here, the advertisement placement information is information indicating the position, orientation, and size (area) of the advertisement frame in which the advertisement image is placed in the placement advertisement image. The advertisement display mode specifying unit 413 specifies the display mode of the advertisement based on the virtual viewpoint image and the advertisement arrangement information.

ここで、表示様態について説明する。広告枠の表示については、仮想視点画像において表示される際の、基準となるサイズ及び向きが予め定められている。この基準となるサイズ及び向きを含む表示様態を基準表示様態と称する。また、基準となるサイズ及び向きをそれぞれ基準サイズ及び基準向きと称する。 Here, the display mode will be described. Regarding the display of the advertisement frame, the reference size and orientation when displayed in the virtual viewpoint image are predetermined. A display mode including the reference size and orientation is referred to as a reference display mode. The reference size and orientation are referred to as the reference size and reference orientation, respectively.

ここで、基準サイズは、仮想視点画像における面積で定義される。例えば、幅１９２０ピクセル、高さ１０８０ピクセルの仮想視点画像に対し、広告枠の基準サイズが幅６４０ピクセル、高さ４８０ピクセルと設定されているものとする。また、基準向きは、仮想視点画像における広告枠の向きと仮想視点の視線方向のなす角で定義される。本実施形態においては、仮想視点の視線方向と一致する広告枠の向きが基準向きとして定義されているものとする。さらに、基準表示様態に対し、広告表示に係る課金額（基準額）が予め設定されている。なお、基準サイズ及及び基準向きは任意に設定することができる。 Here, the reference size is defined by the area in the virtual viewpoint image. For example, it is assumed that the reference size of the advertisement frame is set to 640 pixels in width and 480 pixels in height for a virtual viewpoint image having a width of 1920 pixels and a height of 1080 pixels. The reference orientation is defined by the angle formed by the orientation of the advertisement frame in the virtual viewpoint image and the line-of-sight direction of the virtual viewpoint. In the present embodiment, it is assumed that the direction of the advertisement frame that matches the line-of-sight direction of the virtual viewpoint is defined as the reference direction. Further, a charge amount (reference amount) for displaying an advertisement is set in advance for the reference display mode. The reference size and the reference orientation can be set arbitrarily.

これに対し、ユーザ操作に応じて指定された仮想視点に対応した仮想視点画像においては広告枠のサイズ及び向きは、基準サイズ及び基準向きと異なる場合がある。この差分が、ユーザ操作に応じて指定された仮想視点に対応した仮想視点画像における広告枠の表示様態である。例えば、上述の基準サイズに対し、ユーザ操作に応じて生成された仮想視点画像における広告枠のサイズが幅３２０ピクセル、高さ２４０ピクセルであるとする。この場合、面積比２５％が表示様態として特定される。また、基準向きと、ユーザ操作に応じて生成された仮想視点画像における広告枠の向きのなす鋭角の角度が４５度であるとする。この場合には、角度４５度が表示様態として特定される。広告表示様態特定部４１３はまた、広告枠の領域の一部が仮想視点画像の外側に位置する場合には、広告枠の領域全体に対する、仮想視点画像内に含まれる広告枠の領域の割合を特定する。なお、広告表示様態特定部４１３は、仮想視点の位置及び方向を示す仮想視点情報と広告配置情報とに基づいて、その仮想視点情報に応じた仮想視点画像における広告の表示様態を特定してもよい。また、広告表示様態特定部４１３は、これに限らず、広告の挿入された仮想視点画像に対する画像認識により広告の表示様態を特定してもよい。 On the other hand, in the virtual viewpoint image corresponding to the virtual viewpoint specified according to the user operation, the size and orientation of the advertisement frame may be different from the reference size and the reference orientation. This difference is the display mode of the advertisement frame in the virtual viewpoint image corresponding to the virtual viewpoint specified according to the user operation. For example, it is assumed that the size of the advertisement frame in the virtual viewpoint image generated according to the user operation is 320 pixels in width and 240 pixels in height with respect to the above-described reference size. In this case, the area ratio of 25% is specified as the display mode. Further, it is assumed that the acute angle formed by the reference direction and the direction of the advertisement frame in the virtual viewpoint image generated according to the user operation is 45 degrees. In this case, the angle of 45 degrees is specified as the display mode. The advertisement display mode specifying unit 413 also determines the ratio of the area of the advertisement frame included in the virtual viewpoint image to the entire area of the advertisement frame when a part of the area of the advertisement frame is located outside the virtual viewpoint image. Identify. The advertisement display mode specifying unit 413 may specify the display mode of the advertisement in the virtual viewpoint image according to the virtual viewpoint information based on the virtual viewpoint information indicating the position and direction of the virtual viewpoint and the advertisement arrangement information. Good. Further, the advertisement display mode specifying unit 413 is not limited to this, and may specify the display mode of the advertisement by image recognition of the virtual viewpoint image in which the advertisement is inserted.

課金額設定部４１４は、広告表示様態特定部４１３から表示様態情報を取得する。そして、課金額設定部４１４は、表示様態情報に基づいて、広告表示に係る課金額を設定する。具体的には、課金額設定部４１４は、表示様態が減額条件を満たす場合に、減額条件に従い課金額を基準額から減額する。一方で、課金額設定部４１４は、表示様態が減額条件を満たさない場合には、基準額を課金額として設定する。 The billing amount setting unit 414 acquires the display mode information from the advertisement display mode specifying unit 413. Then, the billing amount setting unit 414 sets the billing amount related to the advertisement display based on the display mode information. Specifically, when the display mode satisfies the reduction condition, the billing amount setting unit 414 reduces the billing amount from the reference amount according to the reduction condition. On the other hand, the charge amount setting unit 414 sets the reference amount as the charge amount when the display mode does not satisfy the reduction condition.

本実施形態においては、以下の条件が減額条件としてＨＤＤ３０４に設定されているものとする。すなわち、生成された仮想視点画像における広告枠のサイズの基準サイズに対する比（面積比）が５０％未満になった場合に、基準額から５０％減額した値を課金額として設定する。また生成された仮想視点画像における広告枠の向きと基準向きとのなす鋭角が４５度未満になった場合に、基準額から５０％減額した値を課金額として設定する。 In the present embodiment, it is assumed that the following conditions are set in the HDD 304 as reduction conditions. That is, when the ratio (area ratio) of the size of the advertisement frame in the generated virtual viewpoint image to the reference size is less than 50%, a value reduced by 50% from the reference amount is set as the charge amount. Further, when the acute angle formed by the direction of the advertisement frame and the reference direction in the generated virtual viewpoint image is less than 45 degrees, a value reduced by 50% from the reference amount is set as the billing amount.

なお、減額条件は、広告枠のサイズが第１サイズ閾値未満の場合に第１サイズ閾値以上の場合に比べて少ない課金額を決定するような条件であればよく、広告枠のサイズに係る減額条件は実施形態に限定されるものではない。また、減額条件は、広告枠の向きと基準向きとのなす鋭角が第１角度閾値未満の場合に第１角度閾値以上の場合に比べて少ない課金額を決定するような条件であればよく、広告画像の向きに係る減額条件は実施形態に限定されるものではない。 It should be noted that the reduction condition may be any condition that determines a smaller charge amount when the size of the advertising space is less than the first size threshold as compared with the case where the size of the advertising space is greater than or equal to the first size threshold. The conditions are not limited to the embodiment. Further, the reduction condition may be a condition that when the acute angle formed by the direction of the advertisement frame and the reference direction is less than the first angle threshold value, a smaller charge amount is determined as compared with the case where the acute angle is equal to or more than the first angle threshold value. The reduction condition relating to the orientation of the advertisement image is not limited to the embodiment.

なお、課金額設定部４１４は、サイズと角度の両方が減額条件を満たす場合には、減額割合の多い方を適用するものとする。なお、他の例としては、課金額設定部４１４は、サイズと角度の両方が減額条件を満たす場合には、両方の減額割合を積算することとしてもよい。また、他の例としては、課金額設定部４１４は、例えば、面積比が５０％未満になった場合に５０％減額し、面積比が２５％未満になった場合に７５％減額する、というように、段階的に減額するような課金額を決定してもよい。 Note that the billing amount setting unit 414 applies the one with the larger reduction rate when both the size and the angle satisfy the reduction conditions. Note that, as another example, when both the size and the angle satisfy the reduction conditions, the charging amount setting unit 414 may integrate the reduction ratios of both. Further, as another example, the charge amount setting unit 414, for example, reduces by 50% when the area ratio is less than 50% and reduces by 75% when the area ratio is less than 25%. As described above, the charge amount may be determined so as to be reduced stepwise.

なお、仮想視点画像における広告枠の表示様態は、仮想視点と広告枠の仮想空間における位置関係に応じて定まるものである。すなわち、課金額設定部４１４が表示様態に基づいて課金額を設定する処理は、位置関係に基づいて課金額を決定する決定処理の一例である。 The display mode of the advertisement frame in the virtual viewpoint image is determined according to the positional relationship between the virtual viewpoint and the advertisement frame in the virtual space. That is, the process in which the billing amount setting unit 414 sets the billing amount based on the display mode is an example of the determination process for determining the billing amount based on the positional relationship.

以上、図４を用いて画像生成装置１２０の構成例について説明したが、画像生成装置１２０の構成はこれに限定されるものではない。例えば、撮影画像取得部４０１、前景背景分離部４０２、撮影画像保持部４０３、カメラパラメータ保持部４０４、及び被写体形状生成部４０５は、画像生成装置１２０とは別の装置内に構成されてもよい。この場合、画像生成装置１２０はその別の装置との間で各種のデータを通信して上述したような処理を行えばよい。 Although the configuration example of the image generation device 120 has been described above with reference to FIG. 4, the configuration of the image generation device 120 is not limited to this. For example, the captured image acquisition unit 401, the foreground/background separation unit 402, the captured image holding unit 403, the camera parameter holding unit 404, and the subject shape generation unit 405 may be configured in a device different from the image generation device 120. .. In this case, the image generating apparatus 120 may communicate various data with the other apparatus and perform the processing as described above.

図５は、画像生成装置１２０による課金額決定処理を示すフローチャートである。Ｓ５０１において、仮想視点情報生成部４０７は、入力受付部４０６を介して端末装置１３０から仮想視点の設定指示を受け付け、設定指示に従い、仮想視点情報を更新する。次に、Ｓ５０２において、仮想視点画像生成部４０８は、仮想視点情報に基づいて、前景画像データと背景画像データを撮影画像保持部４０３から取得する。次に、Ｓ５０３において、仮想視点画像生成部４０８は、被写体形状情報を被写体形状生成部４０５から取得する。次に、Ｓ５０４において、仮想視点画像生成部４０８は、カメラパラメータ情報をカメラパラメータ保持部４０４から取得する。次に、Ｓ５０５において、仮想視点画像生成部４０８は、仮想広告配置情報を広告画像配置部４１２から取得する。なお、Ｓ５０２〜Ｓ５０５の処理は、いずれもＳ５０１の処理の後に行われればよく、Ｓ５０２〜Ｓ５０５の処理順序は実施形態に限定されるものではない。 FIG. 5 is a flowchart showing the charge amount determination processing by the image generating apparatus 120. In step S501, the virtual viewpoint information generation unit 407 receives a virtual viewpoint setting instruction from the terminal device 130 via the input reception unit 406, and updates the virtual viewpoint information according to the setting instruction. Next, in S502, the virtual viewpoint image generation unit 408 acquires the foreground image data and the background image data from the captured image holding unit 403 based on the virtual viewpoint information. Next, in step S<b>503, the virtual viewpoint image generation unit 408 acquires subject shape information from the subject shape generation unit 405. Next, in step S504, the virtual viewpoint image generation unit 408 acquires camera parameter information from the camera parameter holding unit 404. Next, in S505, the virtual viewpoint image generation unit 408 acquires the virtual advertisement placement information from the advertisement image placement unit 412. It should be noted that the processing of S502 to S505 may be performed after the processing of S501, and the processing order of S502 to S505 is not limited to the embodiment.

次に、Ｓ５０６において、仮想視点画像生成部４０８は、仮想視点情報と、仮想広告配置情報と、に基づいて、仮想視点から広告画像が見えるか否かを判定する。具体的には、仮想視点画像生成部４０８は、仮想視点と広告枠の位置関係が視認可能条件を満たす場合に、広告画像が見えると判定する。ここで、視認可能条件は、仮想視点と広告枠の位置関係に係る条件で、予めＨＤＤ３０４に設定されているものとする。本実施形態においては、仮想視点画像内に広告枠が含まれ、広告枠の向きと基準向きのなす鋭角が第２角度閾値以上であり、かつ広告枠のサイズが第２サイズ閾値以上である場合に、広告画像が見えると判定するような視認可能条件が設定されているものとする。ここで、第２サイズ閾値は、上述の減額条件において定義された第１サイズ閾値よりも小さい値とする。また、第２角度閾値は、減額条件において定義された第１角度閾値よりも小さい値とする。仮想視点画像生成部４０８は、仮想視点から広告画像が見える場合には（Ｓ５０６でＹＥＳ）、処理をＳ５０７へ進める。仮想視点画像生成部４０８は、仮想視点から広告画像が見えない場合には（Ｓ５０６でＮＯ）、処理をＳ５０８へ進める。 Next, in S506, the virtual viewpoint image generation unit 408 determines whether or not the advertisement image is visible from the virtual viewpoint, based on the virtual viewpoint information and the virtual advertisement placement information. Specifically, the virtual viewpoint image generation unit 408 determines that the advertisement image is visible when the positional relationship between the virtual viewpoint and the advertisement frame satisfies the viewability condition. Here, the visible condition is a condition relating to the positional relationship between the virtual viewpoint and the advertisement frame, and is set in advance in the HDD 304. In the present embodiment, when an advertisement frame is included in the virtual viewpoint image, the acute angle formed by the direction of the advertisement frame and the reference direction is equal to or larger than the second angle threshold, and the size of the advertisement frame is equal to or larger than the second size threshold. In addition, it is assumed that the visible condition is set such that it is determined that the advertisement image is visible. Here, the second size threshold is a value smaller than the first size threshold defined in the above-mentioned reduction condition. Further, the second angle threshold is set to a value smaller than the first angle threshold defined in the reduction condition. If the advertisement image is visible from the virtual viewpoint (YES in S506), the virtual viewpoint image generation unit 408 advances the process to S507. If the advertisement image cannot be seen from the virtual viewpoint (NO in S506), the virtual viewpoint image generation unit 408 advances the processing to S508.

Ｓ５０７において、仮想視点画像生成部４０８は、仮想視点に対応した背景画像に広告画像を重畳し、射影変換する。このように、仮想視点画像生成部４０８は、仮想視点から広告画像が見える場合にのみ、広告画像を重畳する。すなわち、Ｓ５０６の処理は、仮想視点と広告枠の仮想空間における位置関係に基づいて仮想視点画像に広告画像を配置するか否かを判定する判定処理の一例である。次に、Ｓ５０８において、仮想視点画像生成部４０８は、前景画像データと、背景画像データと、カメラパラメータと、被写体形状情報と、仮想視点情報とに基づいて、仮想視点画像の背景画像を生成する。さらに、仮想視点画像生成部４０８は、仮想視点位置から見た被写体形状に対して、実カメラで撮影された画像データの色情報でレンダリング（着色処理）して仮想視点画像を生成する。 In step S507, the virtual viewpoint image generation unit 408 superimposes the advertisement image on the background image corresponding to the virtual viewpoint and performs projective conversion. As described above, the virtual viewpoint image generation unit 408 superimposes the advertisement image only when the advertisement image is visible from the virtual viewpoint. That is, the process of S506 is an example of the determination process of determining whether to place the advertisement image in the virtual viewpoint image based on the positional relationship between the virtual viewpoint and the advertisement frame in the virtual space. Next, in S508, the virtual viewpoint image generation unit 408 generates a background image of the virtual viewpoint image based on the foreground image data, the background image data, the camera parameters, the subject shape information, and the virtual viewpoint information. .. Further, the virtual viewpoint image generation unit 408 generates a virtual viewpoint image by rendering (coloring processing) the subject shape viewed from the virtual viewpoint position with the color information of the image data captured by the real camera.

次に、Ｓ５０９において、広告表示様態特定部４１３は、仮想視点画像と、広告配置情報と、に基づいて、広告の表示様態を特定する。次に、Ｓ５１０において、課金額設定部４１４は、Ｓ５０９において特定された表示様態と、減額条件とに基づいて、課金額を設定する。以上で、課金額決定処理が完了する。 Next, in S509, the advertisement display mode specifying unit 413 specifies the display mode of the advertisement based on the virtual viewpoint image and the advertisement arrangement information. Next, in S510, the charging amount setting unit 414 sets the charging amount based on the display mode specified in S509 and the reduction condition. This completes the billing amount determination process.

図６〜図８は、課金額決定処理の説明図である。図６は、仮想空間における広告領域を示す図である。撮像装置１１０の撮影画像をもとに生成された仮想空間上で、仮想視点６０１に応じて撮影範囲６０２が設定され、撮影範囲６０２に含まれる被写体６０３を含んだ仮想視点画像が生成される。ここで、図６の広告領域６０４〜６０７は、広告枠に対応した領域例である。広告領域６０４は、撮影範囲６０２にすべての領域が含まれ、基準サイズ及び基準向きで仮想視点画像に表示されるものとする。広告領域６０５は、そのすべての領域が撮影範囲６０２に含まれ、基準向きで仮想視点画像に表示されるものとする。ただし、広告領域６０５は、後方に位置するため、広告領域６０５のサイズは基準サイズの半分の面積であるものとする。 6 to 8 are explanatory views of the charge amount determination process. FIG. 6 is a diagram showing an advertisement area in the virtual space. In the virtual space generated based on the captured image of the image capturing apparatus 110, the capturing range 602 is set according to the virtual viewpoint 601, and the virtual viewpoint image including the subject 603 included in the capturing range 602 is generated. Here, the advertisement areas 604 to 607 in FIG. 6 are examples of areas corresponding to the advertisement frame. The advertising area 604 includes all areas in the shooting range 602 and is displayed in the virtual viewpoint image in the reference size and the reference orientation. The advertising area 605 is assumed to be displayed in the virtual viewpoint image in the reference orientation with all areas included in the shooting range 602. However, since the advertising area 605 is located rearward, the size of the advertising area 605 is assumed to be half the area of the reference size.

広告領域６０６は、その一部が撮影範囲６０２に含まれているが、撮影範囲６０２に含まれない領域が存在する。これに対応し、仮想視点画像に表示される広告領域６０６のサイズは基準サイズの半分の面積であるものとする。なお、広告領域６０６は基準向きで仮想視点画像に表示されるものとする。また、広告領域６０７は、すべての領域が撮影範囲６０２に含まれるが、仮想視点画像における向きと基準向きのなす角が４５度であるものとする。このように、広告領域は、仮想視点の位置に応じて、多様なサイズ及び向きで表示され得る。 A part of the advertising area 606 is included in the shooting range 602, but there is an area that is not included in the shooting range 602. Correspondingly, the size of the advertising area 606 displayed in the virtual viewpoint image is assumed to be half the area of the reference size. Note that the advertising area 606 is displayed in the virtual viewpoint image in the reference orientation. In addition, the advertising area 607 includes all areas in the shooting range 602, but the angle between the orientation in the virtual viewpoint image and the reference orientation is 45 degrees. In this way, the advertising area may be displayed in various sizes and orientations depending on the position of the virtual viewpoint.

図７は、広告画像の一例を示す図である。広告画像７０１は、企業などの会社名ロゴや製品名ロゴ、製品イメージ画像などであるものとする。なお、広告画像は、広告枠に収まるようなサイズや縦横比であるとする。なお、広告枠に適合しない場合は、拡大縮小、縦横比変更、余白の付与などの変更処理が行われてもよいものとする。 FIG. 7 is a diagram showing an example of the advertisement image. The advertisement image 701 is assumed to be a company name logo of a company or the like, a product name logo, a product image image, or the like. Note that the advertisement image has a size and an aspect ratio that fit in the advertisement frame. If it does not match the advertisement frame, change processing such as enlargement/reduction, aspect ratio change, and margin addition may be performed.

図８は、図６に示す撮影範囲６０２に対応した仮想視点画像の表示例である。図８に示す仮想視点画像においては、図６を参照しつつ説明した各広告領域６０４〜６０７に広告画像７０１が配置されている。広告８０１は、広告領域６０４に広告画像７０１が配置された画像である。広告８０１は、基準表示様態と同一である。したがって、１回の表示当たり１０円の広告料が基準額として設定されている場合には、１０円の広告料が課金額として設定される。 FIG. 8 is a display example of a virtual viewpoint image corresponding to the shooting range 602 shown in FIG. In the virtual viewpoint image shown in FIG. 8, the advertisement image 701 is arranged in each of the advertisement areas 604 to 607 described with reference to FIG. The advertisement 801 is an image in which the advertisement image 701 is arranged in the advertisement area 604. The advertisement 801 is the same as the standard display mode. Therefore, when the advertisement charge of 10 yen per display is set as the reference amount, the advertisement charge of 10 yen is set as the billing amount.

広告領域６０５に配置された広告８０２は、基準サイズに対する面積比が５０％である。したがって、面積比が５０％以下の場合に基準額を５０％減額するという減額条件に従い、５円の広告料が課金額として設定される。広告領域６０６に配置された広告８０３は、見切れに伴い、基準サイズに対する面積比が５０％であるため、広告８０２と同様に５円の広告料が課金額として設定される。広告領域６０７に配置された広告８０４は、基準向きとのなす鋭角が４５度である。したがって、角度が４５度未満の場合に基準額を５０％減額するという減額条件に従い、５円の広告料が課金額として設定される。 The area ratio of the advertisement 802 arranged in the advertisement area 605 to the reference size is 50%. Therefore, the advertisement fee of 5 yen is set as the charge amount according to the reduction condition that the reference amount is reduced by 50% when the area ratio is 50% or less. Since the area ratio of the advertisement 803 arranged in the advertisement area 606 to the reference size is 50% due to the cutout, the advertisement fee of 5 yen is set as the charge amount as in the advertisement 802. The advertisement 804 arranged in the advertisement area 607 has an acute angle of 45 degrees with the reference direction. Therefore, the advertising charge of 5 yen is set as the billing amount according to the reduction condition that the reference amount is reduced by 50% when the angle is less than 45 degrees.

以上のように、第１の実施形態に係る画像処理システム１００は、仮想視点画像に広告を表示する場合に、広告の表示様態に応じた課金額を設定することができる。すなわち、仮想視点画像における広告効果に応じた金額を設定することができる。 As described above, the image processing system 100 according to the first embodiment can set the charge amount according to the display mode of the advertisement when the advertisement is displayed on the virtual viewpoint image. That is, it is possible to set the amount of money according to the advertising effect in the virtual viewpoint image.

第１の実施形態の第１の変形例について説明する。画像生成装置１２０は、広告画像の表示回数や表示時間に応じて課金額を段階化してもよいものとする。例えば、画像生成装置１２０は、試合開始から終了までなどの所定時間内で、広告の表示時間や表示回数をカウントしておき、その表示時間や、回数に応じて課金額を減額するか否かを決定する。より具体的には、画像生成装置１２０において、広告の表示時間の基準時間が３０秒と予め設定されているものとする。これに対し、例えば、図８の広告８０１の試合終了までの合計表示時間が５秒であったとする。この場合には、表示時間が基準時間に達しないため、課金額設定部４１４は、課金情報５０％減額の設定をする。また、課金額設定部４１４は、合計時間に限らず、基準表示回数に対する合計表示回数に応じて課金額を設定してもよい。 A first modification of the first embodiment will be described. The image generation apparatus 120 may grade the charge amount according to the number of times the advertisement image is displayed and the display time. For example, the image generation apparatus 120 counts the display time and the number of times the advertisement is displayed within a predetermined time from the start to the end of the match, and determines whether or not to reduce the billing amount according to the display time and the number of times. To decide. More specifically, it is assumed that the reference time of the advertisement display time is preset to 30 seconds in the image generation device 120. On the other hand, for example, assume that the total display time of the advertisement 801 in FIG. 8 until the end of the game is 5 seconds. In this case, since the display time does not reach the reference time, the charge amount setting unit 414 sets the charge information 50% reduction. Further, the charging amount setting unit 414 may set the charging amount according to the total number of times of display with respect to the standard number of times of display, not limited to the total time.

また、第２の変形例としては、広告枠情報保持部４１０は、複数の広告枠情報を保持してもよい。また、広告画像保持部４１１は、複数の広告画像を保持してもよい。この場合、各広告枠に表示される広告画像は予め定められていてもよい。また、他の例としては、広告枠に表示される広告画像は、所定の規則に従い、仮想視点画像の生成の度に複数の広告画像の中から選択されるものとしてもよい。 Further, as a second modification, the advertising space information storage unit 410 may store a plurality of advertising space information. Further, the advertisement image holding unit 411 may hold a plurality of advertisement images. In this case, the advertisement image displayed in each advertisement frame may be predetermined. Further, as another example, the advertisement image displayed in the advertisement frame may be selected from a plurality of advertisement images each time the virtual viewpoint image is generated, according to a predetermined rule.

（第２の実施形態）
次に、第２の実施形態に係る画像処理システムについて、第１の実施形態に係る画像処理システム１００と異なる点を主に説明する。図９は、第２の実施形態に係る画像生成装置９００の機能構成図である。画像生成装置９００は、図４を参照しつつ説明した、第１の実施形態に係る画像生成装置１２０の構成に加えて、看板広告検知部９０１を有している。 (Second embodiment)
Next, the image processing system according to the second embodiment will be described mainly regarding differences from the image processing system 100 according to the first embodiment. FIG. 9 is a functional configuration diagram of the image generation apparatus 900 according to the second embodiment. The image generation apparatus 900 has a signboard advertisement detection unit 901 in addition to the configuration of the image generation apparatus 120 according to the first embodiment described with reference to FIG.

看板広告検知部９０１は、仮想視点画像生成部４０８が生成した仮想視点画像に含まれる背景画像内において、仮想広告枠位置に配置される広告画像と同一の看板広告を検知する。看板広告の検知は、画像認識などの画像処理技術を用いて行えばよい。看板広告検知部９０１は、例えば、予め用意した広告画像と、背景画像に含まれる看板広告の画像特徴量を抽出し、両者を比較することにより、広告画像と同一内容の看板広告を検知する。 The signboard advertisement detection unit 901 detects the same signboard advertisement as the advertisement image placed at the virtual advertisement frame position in the background image included in the virtual viewpoint image generated by the virtual viewpoint image generation unit 408. The signboard advertisement may be detected using an image processing technique such as image recognition. The signboard advertisement detection unit 901 detects a signboard advertisement having the same content as the advertisement image, for example, by extracting the image feature amount of the signboard advertisement included in the background image and the advertisement image prepared in advance and comparing the two.

なお、ここでは、検知対象を看板広告としているが、検知対象は実空間に物理的に存在する広告であればよく、看板として設置された広告に限定されるものではない。また、検知対象の広告内容は、広告画像と同一の内容に限定されるものではなく、例えば、デザインの異なる同一企業の看板広告であってもよい。このように、看板広告検知部９０１は、仮想視点画像に含める広告画像に関連する広告を検知すればよく、検知対象は同一の広告に係る看板広告に限定されるものではない。例えば、所定のロゴが一致、商品名が一致等、検知対象の広告内容を予め設定することで、看板広告検知部９０１は、実空間に存在する所望の広告を検知することができる。なお、仮想視点画像に挿入される仮想広告に関連する実空間内の広告が存在するか否かの判定は、仮想視点画像や撮像画像に対する画像認識を用いる方法に限定されない。例えば看板広告検知部９０１は、実空間に設置された看板広告の内容やスポンサー企業の情報と、その看板広告の設置位置を示す情報とを、ユーザ操作等に基づいて予め取得しておいてもよい。 Although the detection target is a billboard advertisement here, the detection target is not limited to an advertisement installed as a billboard as long as it is an advertisement physically existing in the real space. The advertisement content to be detected is not limited to the same content as the advertisement image, and may be, for example, a billboard advertisement of the same company with a different design. As described above, the signboard advertisement detection unit 901 may detect an advertisement related to the advertisement image included in the virtual viewpoint image, and the detection target is not limited to the signboard advertisement related to the same advertisement. For example, the signboard advertisement detection unit 901 can detect a desired advertisement existing in the real space by presetting the advertisement content to be detected, such as matching predetermined logos and matching product names. Note that the determination of whether or not there is an advertisement in the real space related to the virtual advertisement inserted in the virtual viewpoint image is not limited to the method using image recognition for the virtual viewpoint image or the captured image. For example, the signboard advertisement detection unit 901 may previously acquire the contents of the signboard advertisement installed in the real space, information on the sponsor company, and information indicating the installation position of the signboard advertisement based on a user operation or the like. Good.

課金額設定部９０２は、表示様態情報と、看板広告検知部９０１から取得した看板広告検知情報とに基づき、広告料の課金額を設定する。課金額設定部９０２は、第１の実施形態に係る課金額設定部４１４と同様に、表示様態と、減額条件とに基づいて、課金額を設定する。課金額設定部９０２はさらに、仮想視点画像内に看板広告が含まれる場合には、看板広告の広告効果があるとみなし、広告画像に対する広告料をさらに減額する。課金額設定部９０２は、例えば、看板広告が含まれる場合には、看板広告が含まれない場合に対し５０％減額する。なお、課金額設定部９０２は、広告が検知された場合に、広告が検知されない場合に比べて少ない課金額を、広告画像の課金額として決定すればよく、具体的な方法（額、減額率）は実施形態に限定されるものではない。 The billing amount setting unit 902 sets the billing amount of the advertisement fee based on the display mode information and the signboard advertisement detection information acquired from the signboard advertisement detection unit 901. The charge amount setting unit 902 sets the charge amount based on the display mode and the reduction condition, as in the charge amount setting unit 414 according to the first embodiment. If the virtual viewpoint image includes a billboard advertisement, the billing amount setting unit 902 further considers that the billboard advertisement has an advertising effect, and further reduces the advertisement fee for the advertisement image. For example, when the billboard advertisement is included, the billing amount setting unit 902 reduces the billing amount by 50% as compared with the case where the billboard advertisement is not included. Note that the billing amount setting unit 902 may determine a billing amount that is smaller when an advertisement is detected than when an advertisement is not detected, as a billing amount for an advertisement image. ) Is not limited to the embodiment.

なお、課金額設定部９０２は、表示様態に関する減額条件と、看板広告に関する減額条件の両方を満たす場合には、２つの減額条件に応じた減額率を積算する。例えば、広告画像のサイズが基準画像のサイズの半分で、かつ看板広告が存在するとする。この場合には、課金額設定部９０２は、サイズに応じて課金額を基準額の１０円から５０％減額し、さらに広告画像に応じて課金額を５０％減額する。これにより、最終的な課金額は、２．５円になる。 Note that the charging amount setting unit 902 integrates the reduction rates according to the two reduction conditions when both the reduction condition regarding the display mode and the reduction condition regarding the signboard advertisement are satisfied. For example, it is assumed that the size of the advertisement image is half the size of the reference image and a billboard advertisement exists. In this case, the charge amount setting unit 902 reduces the charge amount by 50% from the reference amount of 10 yen according to the size, and further reduces the charge amount by 50% according to the advertisement image. As a result, the final charge will be 2.5 yen.

図１０は、第２の実施形態に係る画像生成装置９００による課金額決定処理を示すフローチャートである。なお、図１０に示す処理のうち、図５に示す各処理と同じ処理には同じ番号を付し、説明を省略する。Ｓ５０５の処理の後、Ｓ１００１において、仮想視点画像生成部４０８は、まず背景画像のみを使用した仮想視点画像を生成する。次に、Ｓ１００２において、看板広告検知部９０１は、看板広告を検知する。看板広告検知部９０１は、看板広告を検知した場合には（Ｓ１００２でＹＥＳ）、処理をＳ１００３へ進める。看板広告検知部９０１は、看板広告を検知しなかった場合には（Ｓ１００２でＮＯ）、処理をＳ５０６へ進める。Ｓ１００３において、課金額設定部９０２は、課金割合を変更する。課金額設定部９０２は、例えば、広告表示様態特定部４１３の表示様態情報に基づいて決定される課金額に対して、さらに５０％減額する設定を設けるなどとする。ＣＰＵ３０１は、Ｓ１００３の処理の後、処理をＳ５０６へ進める。 FIG. 10 is a flowchart showing the charge amount determination processing by the image generating apparatus 900 according to the second embodiment. Note that among the processes shown in FIG. 10, the same processes as the respective processes shown in FIG. After the processing of S505, in S1001, the virtual viewpoint image generation unit 408 first generates a virtual viewpoint image using only the background image. Next, in S1002, the signboard advertisement detection unit 901 detects a signboard advertisement. When the signboard advertisement detecting unit 901 detects the signboard advertisement (YES in S1002), the process advances to S1003. When the signboard advertisement detecting unit 901 does not detect the signboard advertisement (NO in S1002), the process advances to S506. In S1003, the charging amount setting unit 902 changes the charging ratio. The billing amount setting unit 902 is provided with, for example, a setting for further reducing the billing amount determined based on the display mode information of the advertisement display mode specifying unit 413 by 50%. After the processing of S1003, the CPU 301 advances the processing to S506.

図１１及び図１２は、課金設定処理の説明図である。図１１は、仮想空間における広告領域と、看板広告を示す図である。図１１に示す撮影範囲６０２には、図６に示す撮影範囲６０２と同様に、広告領域６０４〜６０７が含まれている。図１１に示す撮影範囲６０２にはさらに、看板広告１１０１が含まれている。なお、看板広告１１０２は撮影範囲６０２の外に配置されている。図１２は、図１１に示す撮影範囲６０２に対応した仮想視点画像の表示例である。仮想視点画像には、広告領域６０４〜６０７に対応した広告８０１〜８０４に加えて、看板広告１１０１が表示される。 11 and 12 are explanatory diagrams of the charging setting process. FIG. 11 is a diagram showing an advertising area in a virtual space and a billboard advertisement. Like the shooting range 602 shown in FIG. 6, the shooting range 602 shown in FIG. 11 includes advertising areas 604 to 607. The shooting range 602 shown in FIG. 11 further includes a signboard advertisement 1101. The signboard advertisement 1102 is arranged outside the shooting range 602. FIG. 12 is a display example of a virtual viewpoint image corresponding to the shooting range 602 shown in FIG. In the virtual viewpoint image, a billboard advertisement 1101 is displayed in addition to the advertisements 801 to 804 corresponding to the advertisement areas 604 to 607.

このように、仮想視点画像に看板広告１１０１が含まれる場合には、広告料の割合更新が行われる（Ｓ１００３）。例えば、表示様態に応じた減額に対し、さらに５０％の減額が適用される。したがって、広告８０２の１回の表示当たり１０円の広告料である場合、表示様態（面積）により５０％減額の５円の広告料が算出され、さらに、看板広告１１０１の表示により、５０％減額の２．５円の広告料が算出される。なお、第２の実施形態に係る画像処理システムのこれ以外の構成及び処理は、第１の実施形態に係る画像処理システム１００の構成及び処理と同様である。 In this way, when the billboard advertisement 1101 is included in the virtual viewpoint image, the advertising charge rate is updated (S1003). For example, a reduction of 50% is applied to the reduction according to the display mode. Therefore, in the case where the advertisement fee of 10 yen per display of the advertisement 802 is 50%, the advertisement fee of 5 yen is calculated by the display mode (area), and the display of the billboard advertisement 1101 reduces the cost by 50%. An advertising fee of 2.5 yen is calculated. The other configurations and processes of the image processing system according to the second embodiment are similar to those of the image processing system 100 according to the first embodiment.

以上のように、第２の実施形態の画像処理システム１００は、仮想視点画像に仮想広告を表示する場合に、実空間に存在する広告の広告効果を加味して、仮想広告の課金額を設定する。これにより、仮想視点画像全体の広告効果に応じた広告料を設定することができる。 As described above, the image processing system 100 of the second embodiment sets the billing amount of the virtual advertisement in consideration of the advertisement effect of the advertisement existing in the real space when the virtual advertisement is displayed on the virtual viewpoint image. To do. As a result, it is possible to set the advertising fee according to the advertising effect of the entire virtual viewpoint image.

第２の実施形態の変形例としては、画像生成装置９００は、看板広告の有無だけでなく、看板広告のサイズや角度等の看板広告の表示様態に応じて、減額割合を変更してもよい。この場合には、看板広告検知部９０１は、看板広告の有無だけでなく、看板広告のサイズや角度も検知するものとする。課金額設定部９０２は、例えば、看板広告のサイズに応じて、減額割合を異ならせてもよい。このように、課金額設定部９０２は、看板広告と仮想視点との位置関係に基づいて、広告画像の課金額を決定してもよい。 As a modified example of the second embodiment, the image generating apparatus 900 may change the reduction rate according to not only the presence or absence of the billboard advertisement but also the display mode of the billboard advertisement such as the size and angle of the billboard advertisement. .. In this case, the signboard advertisement detection unit 901 detects not only the presence or absence of the signboard advertisement but also the size and angle of the signboard advertisement. The billing amount setting unit 902 may change the reduction rate according to the size of the billboard advertisement, for example. In this way, the charge amount setting unit 902 may determine the charge amount of the advertisement image based on the positional relationship between the billboard advertisement and the virtual viewpoint.

また、他の例としては、画像生成装置９００には、看板広告が適切なサイズや品質で表示され得る看板広告の表示様態の条件が予め設定されているものとする。そして、仮想視点画像生成部４０８は、看板広告の表示様態がこの条件を満たす場合には、仮想広告を仮想視点画像に重畳しないように制御してもよい。看板広告が表示されている状態でさらに広告画像を表示しても、広告画像による更なる広告効果が期待できないためである。本処理は、重畳制御処理の一例である。なお、さらに、この場合、課金額設定部９０２は、課金額をゼロとする。すなわち、課金額設定部９０２は、課金を行わないように決定する。 Further, as another example, it is assumed that the image generation apparatus 900 is preset with conditions for a display state of a billboard advertisement that allows the billboard advertisement to be displayed with an appropriate size and quality. Then, the virtual viewpoint image generation unit 408 may control not to superimpose the virtual advertisement on the virtual viewpoint image when the display mode of the billboard advertisement satisfies this condition. This is because even if the advertisement image is further displayed while the signboard advertisement is being displayed, the further advertisement effect of the advertisement image cannot be expected. This process is an example of the superimposition control process. Furthermore, in this case, the charge amount setting unit 902 sets the charge amount to zero. That is, the charging amount setting unit 902 determines not to charge.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described above in detail, the present invention is not limited to the specific embodiments, and various modifications are possible within the scope of the gist of the present invention described in the claims. -Can be changed.

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００画像処理システム
１１０撮像装置
１２０画像生成装置
１３０端末装置 100 Image Processing System 110 Imaging Device 120 Image Generation Device 130 Terminal Device

Claims

An acquisition unit that acquires virtual viewpoint information indicating a position and a direction of a virtual viewpoint corresponding to a virtual viewpoint image generated based on a plurality of captured images captured from different directions by a plurality of imaging devices, respectively.
A display mode of the advertisement image displayed in the advertisement frame in the virtual viewpoint image corresponding to the virtual viewpoint indicated by the virtual viewpoint information, based on the information indicating the preset advertisement frame in the virtual space and the virtual viewpoint information. And an deciding unit for deciding an amount of money according to the information processing apparatus.

The information processing apparatus according to claim 1, wherein a position, an orientation, and a size of the advertising space in the virtual space are preset.

The information processing apparatus according to claim 1, wherein the determination unit determines the amount of money based on a positional relationship between the virtual viewpoint and the advertising space in the virtual space.

The information processing apparatus according to claim 1, wherein the determining unit determines the amount of money based on a size of the advertisement frame in the virtual viewpoint image.

5. The information processing according to claim 4, wherein the determining unit determines a smaller amount of money when the size of the advertisement frame in the virtual viewpoint image is less than a size threshold, as compared with when the size of the advertisement frame is greater than or equal to the size threshold. apparatus.

The information processing apparatus according to claim 1, wherein the determining unit determines the amount of money based on an angle formed by a line of sight of the virtual viewpoint and a surface of the advertisement frame.

The determining unit determines a smaller amount of money when an acute angle formed by the line-of-sight direction of the virtual viewpoint and the surface of the advertisement frame is less than an angle threshold, as compared with a case where the angle is equal to or more than the angle threshold. Item 6. The information processing device according to item 6.

Further comprising a determination unit that determines whether or not to place an advertisement image in the virtual viewpoint image based on the positional relationship between the virtual viewpoint and the advertisement frame in the virtual space,
The deciding means decides the amount of money corresponding to the placed advertisement image when the deciding means decides to place the advertisement image. Information processing equipment.

In the virtual viewpoint image, an advertisement existing in a real space, further comprising an advertisement detection unit that detects an image of the advertisement corresponding to the advertisement image,
9. The determining unit determines the amount of money when the advertisement is detected, as compared with when the advertisement is not detected, as the amount of money of the advertisement image. The information processing device according to 1.

10. The information processing according to claim 9, wherein the determining unit determines the amount of money of the advertisement image based on a positional relationship between the advertisement and the virtual viewpoint when the advertisement is detected. apparatus.

When the advertisement is detected and the positional relationship between the advertisement and the virtual viewpoint satisfies a predetermined condition, the determining unit includes the advertisement and compares the case where the positional relationship does not satisfy the condition. The information processing apparatus according to claim 9, wherein a small amount of money is determined.

When the advertisement is included, and the positional relationship between the advertisement and the virtual viewpoint satisfies a predetermined condition, a superimposition control unit that controls not to superimpose the advertisement image on the advertisement frame is further provided.
The information processing apparatus according to claim 9, wherein the determining unit determines not to charge the advertisement image when the advertisement image is not superimposed.

An information processing method executed by an information processing device, comprising:
An acquisition unit that acquires virtual viewpoint information indicating the position and direction of the virtual viewpoint corresponding to the virtual viewpoint image generated based on the plurality of captured images captured by the plurality of imaging devices from different directions, respectively.
A display mode of the advertisement image displayed in the advertisement frame in the virtual viewpoint image corresponding to the virtual viewpoint indicated by the virtual viewpoint information, based on the information indicating the preset advertisement frame in the virtual space and the virtual viewpoint information. And an deciding means for deciding an amount of money according to the above.

A program for causing a computer to function as each unit of the information processing apparatus according to claim 1.