JP2019115408A - Hall display system and event execution method using the same - Google Patents

Hall display system and event execution method using the same Download PDF

Info

Publication number
JP2019115408A
JP2019115408A JP2017250184A JP2017250184A JP2019115408A JP 2019115408 A JP2019115408 A JP 2019115408A JP 2017250184 A JP2017250184 A JP 2017250184A JP 2017250184 A JP2017250184 A JP 2017250184A JP 2019115408 A JP2019115408 A JP 2019115408A
Authority
JP
Japan
Prior art keywords
image
screen
character
sub
hall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017250184A
Other languages
Japanese (ja)
Other versions
JP7012287B2 (en
Inventor
晶麗 平野
Shorei Hirano
晶麗 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YUKES KK
Original Assignee
YUKES KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YUKES KK filed Critical YUKES KK
Priority to JP2017250184A priority Critical patent/JP7012287B2/en
Publication of JP2019115408A publication Critical patent/JP2019115408A/en
Priority to JP2022000651A priority patent/JP2022058501A/en
Application granted granted Critical
Publication of JP7012287B2 publication Critical patent/JP7012287B2/en
Priority to JP2023144672A priority patent/JP2023175742A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Holo Graphy (AREA)
  • Pinball Game Machines (AREA)

Abstract

To provide a hall display system capable of further enhancing presence feeling and an event execution method using the same.SOLUTION: The invention comprises an actual luminaire 4 for illuminating inside of a hall by actual illuminance light and a virtual luminaire for generating virtual illuminance light in a computer and displaying the same on a screen. A shadow is associated with a character and illuminance light radiated to the character by both luminaires by the computer and generated. A computer combines a video of an audience AU imaged by a camera 11 and a sub character video MSI generated as a video of a camera in directional vision, and displays the same on a sub screen 3. As the video of the audience displayed on the sub screen, a video of a past time (T0-Δt) obtained by delaying by a slight time Δt from an actual time T0 which is a reference of displaying a main character video on a main screen 2, is used, and as the sub character video, the video at the past time (T0-Δt) obtained by delaying by a slight time Δt from an actual time T0, is used.SELECTED DRAWING: Figure 1

Description

本発明は、ホール用表示システム及びこれを用いて行うイベントの実施方法に関する。さらに詳しくは、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたホール用表示システム及びこれを用いて行うイベントの実施方法に関する。   The present invention relates to a display system for holes and an implementation method of an event performed using the same. More specifically, the main screen for displaying the animation character operating in the hall as a shaded image in basic direction (hereinafter referred to as "main character picture") and the main screen separately from the main screen are disposed in the hall and the It has a sub-screen capable of displaying a character with a shadow and displaying as a direction-viewing video (hereinafter referred to as "sub-character video") different from the basic direction view, and a computer generating the character and a shadow video of the character. The present invention relates to a display system for holes and an implementation method of an event performed using the same.

3D画像を表示するホール用表示システム及びこれを用いて行うイベントの実施方法としては、次の特許文献1の如きものが存在している。この劇場システムでは、メインスクリーンにおいて、ホログラムの前方スクリーンと後方スクリーンの組み合わせで臨場感を得ることを目的としている。一方、近年、さらなる臨場感を求め、メインスクリーンの横にサブスクリーンを設け、例えばキャラクターを異なる角度で表示することで、臨場感を向上させる試みがなされている。   As a hall | hole display system which displays a 3D image, and the implementation method of the event performed using this, a thing like following patent document 1 exists. In this theater system, the main screen aims to provide a sense of reality by combining the front screen and the rear screen of the hologram. On the other hand, in recent years, an attempt has been made to improve the sense of reality by seeking a further sense of presence, providing a sub screen next to the main screen, and displaying characters at different angles, for example.

特表平2017−509027号公報JP-A-2017-509027

かかる従来の実情に鑑みて、本発明は、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供することを目的とする。   In view of such conventional circumstances, it is an object of the present invention to provide a display system for holes which further increases the sense of reality and an implementation method of an event performed using the same.

上記目的を達成するため、本発明に係るホール用表示システムの特徴は、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えた構成であって、ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「観客席方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用い、前記観客席方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いることにある。   In order to achieve the above object, the hall display system according to the present invention is characterized by the main screen displaying the animation character operating in the hall as a video with a basic direction view (hereinafter referred to as "main character video") with shading. A sub-screen disposed in the hole separately from the main screen and capable of displaying the video as a video with a different direction of vision (hereinafter referred to as "sub-character video") with shading and with a different character than the basic direction of vision; And a computer for generating an image of the shadow of the character, wherein a real lighting fixture illuminates the inside of the hall with real lighting light, and a virtual lighting fixture generating virtual lighting within the computer and displaying the virtual lighting on the screen And the shadow is the character and It is generated by being associated with the illumination light irradiated to the character by both lighting fixtures and the computer, and provided with a camera capable of photographing an audience seat, and the computer is an image of the photographed audience seat and the camera The above-mentioned spectator seat displayed on the sub-screen is displayed on the sub-screen by combining the sub-character image (hereinafter referred to as "spectator seat direction-view sub-character image") generated as a direction-view image. Image of the past time (T0-Δt) delayed by a minute time Δt from the actual time T0, which is the reference for displaying the main character image, as the image of the main character image. The image of the past time (T0−Δt) delayed by the time Δt is used.

同特徴によれば、メインキャラクター映像とサブキャラクター映像とは異なる方向視の角度に加え陰影付きで表示されるため、臨場感が付与される。そして、図4,5に示すように、「観客席方向視サブキャラクター映像」は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いるので、観客は実時刻T0のメインキャラクター映像と、過去時刻(T0−Δt)の観客席方向視サブキャラクター映像を同時に見ることとなる。実時刻と過去時刻とを同時に見ると共に、サブスクリーンに対し遅れた映像が現れることで、中央からサブへと人の注意が移り、その効果によって、空間的な広がり、臨場感をより一層感じるようになる。   According to the feature, since the main character image and the sub character image are displayed with shading in addition to angles of different direction views, a sense of reality is given. Then, as shown in FIGS. 4 and 5, since the “spectator seat direction view sub character image” uses the image of the past time (T0−Δt) delayed by a minute time Δt from the actual time T0, the spectator is at the real time T0. The main character image and the audience seat direction view sub character image of the past time (T0−Δt) will be viewed simultaneously. By simultaneously seeing real time and past time and displaying a delayed image on the sub screen, people's attention shifts from the center to the sub, and the effect spreads the space and makes you feel more realistically become.

一方、サブスクリーンに表示される観客席の映像も微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いるため、観客は自らの過去の動作を映像で確認することになり、この点でも、空間的な広がり、臨場感をより一層感じるようになる。   On the other hand, since the image of the audience seat displayed on the sub screen also uses the image of the past time (T0-Δt) delayed by the minute time Δt, the spectator will confirm his past operation by the image, and this point However, it will spread more and feel more realistic.

しかも、サブスクリーンに表示される観客席の映像も観客席方向視サブキャラクター映像も、双方が過去時刻(T0−Δt)のものを用いているため、上記両照明や陰影に矛盾を生じない。したがって、観客はとても自然な感覚をもってサブスクリーンの映像を受け入れるため、臨場感を阻害することもない。前記微小時間Δtは望ましくは0.1秒〜0.5秒とすると好適に実施可能である。   Moreover, since both the audience seat image and the audience seat direction view sub character image displayed on the sub screen use the one at the past time (T0−Δt), there is no contradiction in both the illumination and the shadow. Therefore, the audience accepts the sub-screen image with a very natural feeling, and does not disturb the sense of reality. Preferably, the minute time Δt is preferably 0.1 seconds to 0.5 seconds.

上記特徴に加え、前記コンピュータは前記両照明器具のいずれか又は前記両照明器具双方の照明光が少なくとも前記サブスクリーンの方向に直接照射されて前記サブスクリーン並びに前記メインスクリーン若しくはこれら両スクリーン以外の部分または前記メインスクリーン及びこれら両スクリーン以外の部分に映り込む照明の映像を前記実時刻T0に同期させてもよい。上記特徴では、観客は実時刻T0のメインキャラクター映像と、過去時刻(T0−Δt)の観客席方向視サブキャラクター映像を同時に見るが、同特徴によれば、図6に示すように、さらに実時刻T0の照明が例えば両スクリーンやホールの一部に跨ることができる。時間の異なる光が横断することで、より臨場感に深みを増すことができる。この場合、前記両照明器具の照明光は結像しない光または結像する映像を含むものとすることができる。   In addition to the above-mentioned features, in the computer, the illumination light of either or both of the lighting fixtures is directly irradiated at least in the direction of the subscreen so that the subscreen and the main screen or parts other than these two screens. Alternatively, the image of the light reflected on the main screen and portions other than the two screens may be synchronized to the actual time T0. In the above feature, the spectator simultaneously sees the main character image at real time T0 and the audience seat direction view sub character image at past time (T0-Δt). According to the same feature, according to the same feature, as shown in FIG. The illumination at time T0 can, for example, span part of both screens or holes. Crossing with light of different time can add depth to the realism. In this case, the illumination light of both the lighting fixtures can include light which is not imaged or an image which is imaged.

上記各特徴において、前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示させてもよい。   In each of the above features, the main screen is provided with a hologram reproduction screen which is disposed on the stage at a tilt and displays a hologram image, and a rear screen arranged on the back of the stage, and a composite image of these both screens is displayed to the spectator It is also good.

本システムを実施するにあたっては、客席からは見えない場所にアクターの動作するスペースと、同アクターの動作をキャプチャするモーションキャプチャ装置とをさらに備え、前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えさせてもよい。   In implementing the present system, the computer further comprises a space where the actor operates and a motion capture device that captures the operation of the actor in a place not seen from the customer seat, and the computer is a character interlocking with the captured actor's operation It may be equipped with a rendering function that generates an image in real time.

一方、これに対し、前記メインスクリーン及び前記サブスクリーンの映像は前記各スクリーンに表示されたものを記録した映像を前記実照明光と同期させて上映させるようにしてもよい。   On the other hand, the images of the main screen and the sub screen may display the images displayed on the screens in synchronization with the actual illumination light.

前記サブスクリーンは少なくとも前記メインスクリーンの左右に配置することで、左右への広がりを持たせることができる。   The sub-screens can be made to have left-right spread by being disposed at least on the left and right of the main screen.

ホール用表示システムを用いて行うイベントの実施方法の特徴は、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えた構成において、ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記コンピュータにより前記キャラクター及び前記両照明器具により前記キャラクターに照射された照明光と関連付けられて生成されるものであり、観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「観客席方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻T0−Δtの映像を用い、前記観客席方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻T0−Δtの映像を用いることにある。   A feature of the method of performing the event using the hall display system is that the main screen displays characters of animations operating in the hall as shaded images (hereinafter referred to as “main character images”) with shading, and the main screen. A sub-screen disposed in the hole separately from the screen and capable of displaying the video as a video with a different direction of sight (hereinafter referred to as a "sub-character video") with shading and with a different direction from the basic direction; A real lighting device for illuminating the inside of the hall with real lighting light, and a virtual lighting device for generating virtual lighting light in the computer and displaying the virtual lighting light on the screen; The shadow is generated by the computer by the computer. The camera is generated by being associated with illumination light irradiated to the character by the rector and the lighting devices, and the camera includes a camera capable of photographing an audience seat, and the computer is an image of the photographed audience seat and the camera The above-mentioned spectator seat displayed on the sub-screen is displayed on the sub-screen by combining the sub-character image (hereinafter referred to as "spectator seat direction-view sub-character image") generated as a direction-view image. The image of the past time T0-.DELTA.t delayed by the minute time .DELTA.t from the actual time T0, which is the reference for displaying the main character picture, is used as the picture of the main character picture. Using the image of the past time T0-.DELTA.t delayed by only.

上記本発明に係るホール用表示システム及びこれを用いて行うイベントの実施方法の特徴によれば、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供しえるに至った。   According to the hall display system according to the present invention and the implementation method of the event performed using the same, it is possible to provide a hall display system for enhancing the sense of reality and an implementation method of the event performed using the hall display system. The

本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。   Other objects, configurations, and effects of the present invention will be apparent from the following section of the embodiments of the present invention.

本発明のホールにおける構成を示す斜視図である。It is a perspective view which shows the structure in the hole of this invention. ステージ周りの概略の構成を示す側面図である。It is a side view showing a schematic structure around a stage. 本発明のシステム構成を示す図である。It is a figure showing the system configuration of the present invention. メインスクリーンとサブスクリーンとの映像を示す図である。It is a figure which shows the image of a main screen and a sub screen. メイン、サブスクリーンそれぞれにおけるキャラクターA,Bの姿勢と時間との関係を示す図である。It is a figure which shows the relationship of the attitude | position and time of character A, B in each of a main and a subscreen. 照明とメイン、サブスクリーンとの関係を示す図であって、図1,4の場合である。It is a figure which shows the relationship between illumination, a main, and a subscreen, Comprising: It is a case of FIG. 照明とメイン、サブスクリーンとの関係を示す図であって、メインスクリーンと同一方向視でサブ背景映像がメイン背景映像と続く場合である。It is a figure which shows the relationship between illumination, a main, and a subscreen, Comprising: It is a case where a sub background image continues with a main background image by the same direction as a main screen. 本発明の別の実施形態におけるパチンコ台の概略正面図である。It is a schematic front view of a pachinko machine in another embodiment of the present invention.

次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。本発明に係るホール用表示システム1は、図1〜3に示すように、メインスクリーン2、左右一対のサブスクリーン3、実照明器具4、仮想照明器具5(仮想照明器具光源5a)、スピーカー6、観客席AUの映像を撮影する第一カメラ11、コンピュータ50をホールHまたはその近くに備えている。   Next, the present invention will be described in more detail, referring to the attached drawings as appropriate. As shown in FIGS. 1 to 3, the hall display system 1 according to the present invention includes a main screen 2, a pair of left and right sub screens 3, a real lighting fixture 4, a virtual lighting fixture 5 (virtual lighting fixture light source 5 a), and a speaker 6. , The first camera 11 for capturing an image of the audience seat AU, and the computer 50 are provided at or near the hall H.

ホール用表示システム1は、さらに第二カメラ12及びマイク13をホールHとは別室に備えている。第二カメラ12は隔離スペースSに設置され、アクターACの動作を撮影し、モーションキャプチャモジュールMC51に送る。マイク13は声優またはボーカリストの声を録音しリップシンクモジュールLS54に送る。   The hall display system 1 further includes a second camera 12 and a microphone 13 in a separate room from the hall H. The second camera 12 is installed in the isolated space S, captures the action of the actor AC, and sends it to the motion capture module MC51. The microphone 13 records voice of voice actor or vocalist and sends it to the lip sync module LS54.

ホールHに設置されるメインスクリーン2は、ステージSTに斜めに設置されるホログラム再生スクリーン2a、ステージSTの背面に設置される背面スクリーン2b、ホログラム再生スクリーン2aに映像を映すホログラムプロジェクタ2c、背面スクリーン2bに映像を移す背面プロジェクタ2dを備えている。背面スクリーン2bの映像はホログラム再生スクリーン2aを透過して、このホログラム再生スクリーン2aの映像と共に合成されて観客席AUから見える。   The main screen 2 installed in the hole H includes a hologram reproducing screen 2a installed obliquely on the stage ST, a rear screen 2b installed on the back of the stage ST, a hologram projector 2c projecting an image on the hologram reproducing screen 2a, and a rear screen It has a rear projector 2d that transfers the image to 2b. The image of the rear screen 2b passes through the hologram reproducing screen 2a, is combined with the image of the hologram reproducing screen 2a, and can be seen from the audience seat AU.

一方、各サブスクリーン3は、左右の横第一スクリーン3a1及び横第二スクリーン3a2(横スクリーン3a)と、これら両横スクリーン3aにそれぞれ映像を映す第一サブスクリーンプロジェクタ3b1及び第二サブスクリーンプロジェクタ(後者は図示省略、両方併せてサブスクリーンプロジェクタ3b)を備えている。   On the other hand, each sub-screen 3 is a first sub-screen projector 3b1 and a second sub-screen projector that project an image on the left and right first horizontal screen 3a1 and the second horizontal screen 3a2 (horizontal screen 3a) and these both horizontal screens 3a. (The latter is not shown; both are combined with a sub screen projector 3b).

コンピュータ50は、モーションキャプチャモジュールMC51、リアルタイムレンダリングモジュールRR52、映像合成モジュールIM53、リップシンクモジュールLS54、バックステージイメージ生成モジュールBI55、バーチャルライトイメージ生成モジュールVL56、リアルライトコントローラRC58、音楽生成モジュールSG59、各モジュールの時点合わせの基準となるタイムマネジメントコントローラTM60を備えている。   The computer 50 includes a motion capture module MC51, a real time rendering module RR52, a video synthesis module IM53, a lip sync module LS54, a back stage image generation module BI55, a virtual light image generation module VL56, a real light controller RC58, a music generation module SG59, It has a time management controller TM60, which serves as a reference for time alignment.

モーションキャプチャモジュールMC51は、第二カメラ12より撮影されたアクターACの動作を分析し、リアルタイムレンダリングモジュールRR52において動作するキャラクターの3D映像を生成する。第二カメラ12は複数台備えられており、アクターACを異なった角度から撮影し、モーションキャプチャーを行う。通常は正面の第二カメラ12の撮影方向がメインキャラクターを生成する際の基本方向視D1となる。   The motion capture module MC51 analyzes the motion of the actor AC captured by the second camera 12, and generates a 3D image of a character operating in the real time rendering module RR52. A plurality of second cameras 12 are provided to capture an actor AC from different angles and perform motion capture. Usually, the shooting direction of the front second camera 12 is the basic direction view D1 when generating the main character.

バーチャルライトイメージ生成モジュールVL56はバーチャル空間での照明のイメージ像を作成し、リアルライトコントローラRC58と相まって光の情報をバックステージイメージ生成モジュールBI55とリアルタイムレンダリングモジュールRR52に送り、照明の状態と矛盾しない陰影付きの映像を生成する。実照明光制御部RL61はリアルライトコントローラRC58に制御され、実照明器具4を動作させてホールH内の実照明を行う。   The virtual light image generation module VL56 generates an image of the illumination in the virtual space, and sends information of light to the backstage image generation module BI55 and the real time rendering module RR52 together with the real light controller RC58, and generates a shadow consistent with the state of the illumination Generate a video with The actual illumination light control unit RL 61 is controlled by the real light controller RC 58 to operate the actual illumination fixture 4 to perform actual illumination in the hole H.

第一カメラ11により撮影された観客席AUの映像は、映像合成モジュールIM53で先のリアルタイムレンダリングモジュールRR52の映像と合成され、サブスクリーンプロジェクタ3bで横スクリーン3aに映される。一方、ホログラム再生スクリーン2a、背面スクリーン2bには、リアルタイムレンダリングモジュールRR52の映像が、それぞれホログラムプロジェクタ2c、背面プロジェクタ2dによりメインキャラクター映像として映し出される。   The video of the spectator seat AU taken by the first camera 11 is combined with the previous video of the real time rendering module RR52 by the video combining module IM53 and projected on the horizontal screen 3a by the sub screen projector 3b. On the other hand, on the hologram reproducing screen 2a and the rear screen 2b, the image of the real-time rendering module RR 52 is projected as a main character image by the hologram projector 2c and the rear projector 2d, respectively.

リップシンクモジュールLS54はマイク13により録音した声優等の音声を上記メインキャラクター映像に合わせて遅延させる。また、音楽生成モジュールSG59は、BGMや効果音を生成し、これらのBGM等はマイク13の音声と共にサウンドシステム62を通じてスピーカー6によりホールHに流される。   The lip sync module LS 54 delays the voice such as voice actor recorded by the microphone 13 in accordance with the main character image. Further, the music generation module SG 59 generates BGM and sound effects, and these BGM and the like are flowed to the hall H by the speaker 6 through the sound system 62 together with the sound of the microphone 13.

図1,4,5に示すように、メインスクリーン2には、キャラクターCHとして、キャラクターA(CH−A)とキャラクターB(CH−B)との2者が映し出されている。これに対し、左右一対のサブスクリーン3にはキャラクターB(CH−B)のみが映し出されている。   As shown in FIGS. 1, 4 and 5, two characters, character A (CH-A) and character B (CH-B), are displayed on the main screen 2 as the character CH. On the other hand, only the character B (CH-B) is displayed on the pair of left and right sub-screens 3.

メインスクリーン2の映像を詳述すると、メインキャラクター映像MI(MIa、MIb)は、メインキャラクター本体映像MI1(MI1a,MI1b)及びメインキャラクターの陰影MI2(MI2a,MI2b)とよりなる。さらにこれにメイン背景映像BMIが加わり,メイン合成映像MMIができる。   The main character image MI (MIa, MIb) is composed of a main character main image MI1 (MI1a, MI1b) and a shadow MI2 (MI2a, MI2b) of the main character. Furthermore, the main background image BMI is added to this, and the main composite image MMI can be made.

一方、左右一対のサブスクリーン3では、サブキャラクター映像SI(観客席方向視サブキャラクター映像AI)は、サブキャラクター本体映像SI1及びサブキャラクターの陰影SI2よりなる。そして、さらにサブ背景映像(観客席の映像)BSIが加わることにより、サブ合成映像MSIができる。   On the other hand, in the pair of left and right sub-screens 3, the sub character image SI (the audience seat direction viewing sub character image AI) is made up of the sub character main image SI1 and the shadow SI2 of the sub character. Then, by adding the sub background image (image of the audience seat) BSI, a sub composite image MSI can be generated.

メインスクリーン2におけるメイン合成映像MMIは、基本方向視D1でレンダリングされたキャラクターを利用している。この基本方向視D1は第二カメラ12の方向視と一致する場合もあれば異なる場合もある。一方、基本方向視とは異なる方向視D2は、たとえば第一カメラ11の観客席用カメラの方向視D3を用いることができる。よって、キャラクターB(CH−B)はメインスクリーンでは後ろ向きであるが、サブスクリーンでは前向きとなる。   The main composite image MMI on the main screen 2 uses the character rendered in the basic direction view D1. This basic direction view D1 may or may not coincide with the direction view of the second camera 12. On the other hand, for the direction view D2 different from the basic direction view, for example, the direction view D3 of the audience seat camera of the first camera 11 can be used. Thus, the character B (CH-B) is backward facing on the main screen but forward on the sub screen.

図1において第一カメラ11の観客席用カメラの方向視D3の視野には実照明器具4が入っており、この実照明器具4からは実照明光L1が観客席AU、ステージST並びにキャラクターA(CH−A)及びキャラクターB(CH−B)に照射されている。   In FIG. 1, the real lighting fixture 4 is included in the field of view D3 of the camera for the audience seat of the first camera 11, and from this real lighting fixture 4, the real lighting light L1 is for the audience seating AU, stage ST and character A (CH-A) and character B (CH-B) are irradiated.

図4においてこの実照明器具4の光源の映像4’及び観客席に照射される実照明光L1がキャラクターB(CH−B)と共に映りこんでいる。キャラクターBに向かう実照明光L2は実際にはキャラクターに照射されないため、上記光源の映像4’の位置を仮想照明器具5の光源とも捉え、仮想照明光L2として表示している。   In FIG. 4, the image 4 'of the light source of the actual lighting fixture 4 and the actual illumination light L1 emitted to the spectator seat are reflected together with the character B (CH-B). Since the actual illumination light L2 directed to the character B is not actually irradiated to the character, the position of the image 4 'of the light source is captured as the light source of the virtual illumination fixture 5 and is displayed as the virtual illumination light L2.

図1,3〜5に示すように、メインスクリーン2では実時刻T0のキャラクターA(CH−A)とキャラクターB(CH−B)との2者が映し出されている。これに対し、サブスクリーンでは、微小時間Δtだけ遡った過去時刻(T0−Δt)のキャラクターB(CH−B)の映像が映し出されている。これら各スクリーンの映像は、各時刻に合わせた上記実照明器具4、仮想照明器具5の実照明光L1、仮想照明光L2の情報に基づき陰影や背景が生成される。   As shown in FIGS. 1, 3 to 5, on the main screen 2, two persons, a character A (CH-A) at a real time T 0 and a character B (CH-B), are shown. On the other hand, on the subscreen, an image of the character B (CH-B) at a past time (T0-.DELTA.t) which is traced back by the minute time .DELTA.t is shown. A shadow and a background of the image of each screen are generated based on information of the actual illumination light L1 and the virtual illumination light L2 of the virtual illumination fixture 5 and the actual illumination fixture 4 adjusted to each time.

さらにサブ背景映像(観客席の映像)BSIも、微小時間Δtだけ遡った過去時刻(T0−Δt)の映像が用いられている。 サブキャラクター映像SIともに過去時刻(T0−Δt)のものを用いているので、照明光の色が異なる等の矛盾も生じなく、臨場感が自然に認識されることとなる。   Further, as the sub background image (image of the audience seat) BSI, the image of the past time (T0−Δt) which is traced back by the minute time Δt is used. Since the sub character image SI uses the one at the past time (T0−Δt), contradictions such as different illumination light colors do not occur, and the sense of reality is naturally recognized.

ところで、サブ背景映像(観客席の映像)BSIは、ハードウエアの性能上、微小時間Δtの遅延を生じる可能性がある。この場合、ハードウエアの性能に合わせて、サブキャラクター映像SIも時刻微小時間Δtだけ遡った過去の映像を用いても良く、微小時間Δtをハードウエアの遅延の映像合成モジュールIM53のソフトウエア遅延とで調整してもよい。微小時間Δtは望ましくは0.1秒〜0.5秒とすると好適に実施可能である。0.1秒以上あれば映像の違いを認識でき、0.5秒を超えると不自然に感じられるからである。   By the way, the sub-background image (image of the audience seat) BSI may cause a delay of a minute time Δt in terms of hardware performance. In this case, the sub character image SI may also use a past image traced back by the minute time Δt in accordance with the hardware performance, and the minute time Δt is a software delay of the video synthesis module IM53 of the hardware delay and You may adjust by. The minute time Δt is preferably 0.1 seconds to 0.5 seconds. This is because if the time is 0.1 seconds or more, the difference in the image can be recognized, and if it exceeds 0.5 seconds, it is unnatural.

メインスクリーン2には、メインキャラクター本体映像MI1(MI1a,MI1b)、メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMIが合成されて表示される。これらの要素は、ホログラム再生スクリーン2a、背面スクリーン2bに次のような組み合わせで表示されうる。   On the main screen 2, the main character body image MI1 (MI1a, MI1b), the main character shadow MI2 (MI2a, MI2b) and the main background image BMI are combined and displayed. These elements can be displayed on the hologram reproduction screen 2a and the rear screen 2b in the following combination.

ケース1)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)、 背面スクリーン2b;メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMI   Case 1) Hologram reproduction screen 2a; main character body picture MI1 (MI1a, MI1b), back screen 2b; main character shadow MI2 (MI2a, MI2b) and main background picture BMI

ケース2)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)及びメインキャラクターの陰影MI2(MI2a,MI2b)、背面スクリーン2b;メイン背景映像BMI   Case 2) Hologram reproduction screen 2a; main character body image MI1 (MI1a, MI1b) and shadow of main character MI2 (MI2a, MI2b), rear screen 2b; main background image BMI

ケース3)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)、メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMIの一部(BMI1)、背面スクリーン2b;メイン背景映像BMIの残余(BMI2)   Case 3) Hologram reproduction screen 2a; main character body image MI1 (MI1a, MI1b), main character shadow MI2 (MI2a, MI2b) and a part of main background image BMI (BMI 1), back screen 2b; main background image BMI Remaining (BMI2)

これらの映像のスクリーン割り付けは適宜必要に応じて採用される。   The screen assignment of these images is adopted as needed.

なお、上記では、アクターの動作するスペースやモーションキャプチャ装置を設けた。しかし、図3に示すように、上記イベントの実施の映像、音響、照明等のコントロールを全てレコーディングモジュールRS57に記録し、これを再生させることによりイベントを実施してもよい。   In the above, a space for motion of an actor and a motion capture device are provided. However, as shown in FIG. 3, the event such as video, sound, lighting, etc. of the implementation of the above event may all be recorded in the recording module RS 57, and the event may be implemented by reproducing the same.

次に、本発明の別実施形態について説明する。上記第一実施形態と同様の部材には同一の符号を附してある。また、同趣旨の部材の言い換えをしているものは、下記で言及以外の上記要素のすべてに適用されうる。   Next, another embodiment of the present invention will be described. The same members as those in the first embodiment are given the same reference numerals. Moreover, what is paraphrasing of the member of the same meaning may be applied to all the said elements except mentioning below.

上記実施形態では、実照明器具4及び仮想照明器具5の実照明光L1及び仮想照明光L2の時刻は、メイン、サブスクリーンで異なるものであった。しかし、図6(a)に示す第二実施形態では、両照明器具4,5のいずれか又は両照明器具4,5双方の照明光L1,L2をメインスクリーン2及びサブスクリーン3の方向に直接照射させて、これら両スクリーン2,3に映り込む照明の映像(桜吹雪F)をコンピュータ50において前記実時刻T0に同期させてある。本第二実施形態では、さらにホールHの一部であるスクリーン間H1やスクリーン周辺H2にも桜吹雪F3(F)を映している。これら両スクリーン2,3に映る桜吹雪F1,F2(F)は仮想照明器具5の仮想照明光L2によるもの、ホールHの一部であるスクリーン間H1やスクリーン周辺H2に映る桜吹雪F3(F)は実照明器具4の実照明光L1によるものである。   In the above embodiment, the times of the actual illumination light L1 and the virtual illumination light L2 of the actual lighting fixture 4 and the virtual lighting fixture 5 are different between the main screen and the sub screen. However, in the second embodiment shown in FIG. 6A, the illumination lights L1 and L2 of either or both of the lighting devices 4 and 5 are directly directed to the main screen 2 and the sub screen 3 in the second embodiment. The images of the lights (Sakura Fuuki F) reflected on the two screens 2 and 3 by irradiating are synchronized with the actual time T0 in the computer 50. In the second embodiment, the cherry snowstorm F3 (F) is also reflected on the screen space H1 and the screen periphery H2 which are a part of the hole H. The cherry blossoms snowfalls F1 and F2 (F) reflected on these two screens 2 and 3 are caused by the virtual illumination light L2 of the virtual lighting fixture 5, the cherry blossoms snowfall F3 reflected on the interscreen H1 which is a part of the hole H ) Is due to the actual illumination light L1 of the actual illumination fixture 4.

この実施例によれば、ホールHの一部であるスクリーン間H1やスクリーン周辺H2にも桜吹雪Fは映っているが、さらに観客席AUにも映してもよく、これらを映さないでメインスクリーン2及びサブスクリーン3のみに桜吹雪F1,F2を映しても良い。サブスクリーンの過去時刻(T0−Δt)とは時刻の異なる光がサブスクリーン4と他の部分を横断することで、より臨場感に深みを増すことができる。桜吹雪Fは結像した映像であるが、スポットライトのような結像していない照明光Lを用いても良い。なお、桜吹雪Fが方向視の異なるメインスクリーン2,サブスクリーン3に映るのが不自然である場合は図6(b)の如く、メインスクリーン2と同一方向視でサブスクリーン3のサブ背景映像MSIがメイン背景映像BMIと続くようにしてもよい。   According to this embodiment, the cherry blossoms snowfall F is also reflected in the inter-screen H1 and the screen periphery H2 which are a part of the hall H, but may also be reflected in the spectator seat AU. It is also possible to project the cherry blossoms F1 and F2 only on the 2 and the sub screen 3. The light of different time from the past time (T0- [Delta] t) of the subscreen crosses the subscreen 4 and other parts, so that the depth can be further enhanced. The cherry blossoms Fuki is a formed image, but illumination light L which is not formed like a spotlight may be used. In addition, when it is unnatural that it is unnatural that it is unnatural to see in the main screen 2 and the sub screen 3 from which a direction of a cherry blossoms snowf F is different, the sub background image of the sub screen 3 in the same direction as the main screen 2 as shown in FIG. The MSI may be continued with the main background image BMI.

上記実施形態では、メインスクリーン2に映すメイン合成映像MMIに実時刻T0のもの、左右のサブスクリーンに映すサブ合成映像MSIに過去時刻(T0−Δt)のものを用い、スクリーン間の時刻の違いを二段階とした。しかし、3つのスクリーン間の時間を3段階に変えても良い。例えば、メインスクリーン2に実時刻、一方のサブスクリーン3に未来時刻、他法のサブスクリーン3に過去時刻を用いたり、現在、過去、さらに過去等、複数の時刻のものを用いても良い。スクリーンの数と時刻の切り替えは3以上の複数であってもよい。   In the above embodiment, the main composite video MMI displayed on the main screen 2 uses the one at the actual time T0, and the sub composite video MSI displayed on the left and right sub screens uses the one at the past time (T0-Δt). In two stages. However, the time between three screens may be changed to three stages. For example, an actual time may be used for the main screen 2, a future time for one sub screen 3, and a past time for the sub screen 3 of another method, or a plurality of times such as present, past, and further past may be used. Switching between the number of screens and the time may be three or more.

上記実施形態では、本発明を、ホールで利用するホール用表示システム及びこれを用いて行うイベントの実施方法として実施した。しかし、本発明は、パチンコ又はパチスロ等の遊技機においても実施することができる。この場合、アクターのモーションキャプチャーを行わなくても良く、また、上述の如く実施の映像、音響、照明等のコントロールを全てレコーディングモジュールRS57に記録し、これを再生させてもよい。   In the said embodiment, this invention was implemented as a display system for hall | hole utilized by a hall | hole, and the implementation method of the event performed using this. However, the present invention can also be practiced in gaming machines such as pachinko or pachislot machines. In this case, the motion capture of the actor does not have to be performed, and all the controls of the implemented image, sound, illumination, etc. as described above may be recorded in the recording module RS 57 and reproduced.

すなわち、本発明は、動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたパチンコ又はパチスロ等の遊技機であって、遊技機内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、遊技機外を撮影可能なカメラを備え、前記コンピュータは撮影された遊技機外の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「遊技機外方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記遊技機外の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用い、前記遊技機外方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いるものである遊技機として使用してもよい。   That is, according to the present invention, the main screen for displaying the animated character in motion as a video with a basic direction view (hereinafter referred to as "main character video") with shading, and the basic screen with the character shaded in addition to the main screen. A game machine such as a pachinko or pachislot machine equipped with a sub screen that can be displayed as a video of a direction view different from the direction view (hereinafter referred to as "sub character image") and a computer for generating the image of the character and the shadow of the character And a virtual lighting device for generating virtual lighting light in the computer and displaying the virtual lighting light on the screen, wherein the shadow is the character and both lighting devices. Illumination light emitted to the character and the light The camera includes a camera capable of photographing outside the gaming machine, and the computer includes the photographed image outside the gaming machine and the sub character image generated as a video of the camera in a direction view The main character image is displayed on the sub screen by combining (hereinafter referred to as “outside view sub character image of the gaming machine”), and the main character image is displayed as the image outside the gaming machine displayed on the sub screen. Using the image of the past time (T0-.DELTA.t) delayed by the minute time .DELTA.t from the actual time T0, which is the reference, and the past time (T0) delayed by a minute time .DELTA.t from the actual time T0. It may be used as a game machine that uses an image of -Δt).

図7に示すように、遊技機の一例であるパチンコ台100は、遊技機本体101、パチンコ玉飛来可能部102、玉の発射をコントロールする駆動ハンドル103及び玉受け104を備えている。パチンコ玉飛来可能部102の中央には、メインスクリーン2、その左右には一対のサブスクリーン3,3としてそれぞれ液晶パネルが組み込まれている。また、実照明器具4の照明光の映像をLED4xや、同じく広範囲に設けられた他の液晶パネル4yにより再現することができる。   As shown in FIG. 7, a pachinko machine 100, which is an example of a gaming machine, includes a gaming machine main body 101, a pachinko ball flying portion 102, a drive handle 103 for controlling the firing of balls, and a ball receiver 104. A liquid crystal panel is incorporated as the main screen 2 at the center of the pachinko ball flight possible portion 102 and a pair of sub screens 3 at the right and left thereof. In addition, the image of the illumination light of the actual lighting fixture 4 can be reproduced by the LED 4x or another liquid crystal panel 4y similarly provided in a wide range.

もちろん、実照明器具4を別に設けて、照明光をパチンコ玉飛来可能部102に照射させてもよい。第一カメラ11は本実施形態では遊技機本体10の中央に設けられているが、パチンコホールの天井や他の部分に設けてもよい。また、第一カメラ11や映像合成モジュールIM53を設けずに、上記他の要素を組み合わせて実施してもよい。本発明は同様にパチスロ器やその他の遊技機にも適用可能である。   Of course, the actual lighting fixture 4 may be separately provided and the illumination light may be emitted to the pachinko ball flight enable unit 102. Although the first camera 11 is provided at the center of the gaming machine main body 10 in the present embodiment, it may be provided on the ceiling or other part of the pachinko hall. In addition, the above other elements may be combined and implemented without providing the first camera 11 or the video combining module IM53. The invention is equally applicable to pachislot machines and other gaming machines.

本発明におけるキャラクターには、人物や動物等の他、植物や家具・花瓶などの静物も含まれる。照明が変わり、視点が切り替えられれば陰影も変わり、上記効果が奏されるからである。   The characters in the present invention include not only human beings and animals but also still life such as plants, furniture and vases. This is because the illumination changes, and if the viewpoint is switched, the shadow changes, and the above effect is produced.

本発明は、バーチャルキャラクターによるコンサートやイベント等に用いることの可能なホール用表示システム及びこれを用いて行うイベントの実施方法の他、パチンコ又はパチスロ等の遊技機として利用することができる。ホールは屋外も含まれ、ステージ上にスクリーンが設置できればよい。   The present invention can be used as a pachinko or pachislot game machine as well as a hall display system that can be used for a virtual character concert or event and the like, and an implementation method of an event performed using the hall display system. The hall also includes the outdoors, and it is sufficient if a screen can be installed on the stage.

AU:観客席、CH,CH−A(A),CH−B(B):キャラクター、F:桜吹雪、F1〜3:照明の映像、H:ホール、H1:スクリーン間、H2:スクリーン周辺、ST:ステージ、AC:アクター、S:隔離スペース、D1:基本方向視、D2:基本方向視とは異なる方向視、D3:観客席用カメラの方向視、MI,MIa,MIb:メインキャラクター映像、MI1,MI1a,MI1b:メインキャラクター本体映像、MI2,MI2a,MI2b:メインキャラクターの陰影、BMI:メイン背景映像、MMI:メイン合成映像、SI:サブキャラクター映像、AI:観客席方向視サブキャラクター映像、SI1:サブキャラクター本体映像、SI2:サブキャラクターの陰影、BSI:サブ背景映像(観客席の映像)、MSI:サブ合成映像、L:照明光、L1:実照明光、L2:仮想照明光、T0:実時刻、Δt:微小時間、T0−Δt:過去時刻、1:ホール用表示システム、2:メインスクリーン、2a:ホログラム再生スクリーン、2b:背面スクリーン、2c:ホログラムプロジェクタ、2d:背面プロジェクタ、3:サブスクリーン、3a:横スクリーン、3a1:横第一スクリーン、3a2:横第二スクリーン、3b:サブスクリーンプロジェクタ、3b1:第一サブスクリーンプロジェクタ、4:実照明器具、4x:LED、4y:他の液晶パネル、5:仮想照明器具、5a:仮想照明器具光源、6:スピーカー、11:第一カメラ、12:第二カメラ、13:マイク、50:コンピュータ、MC51:モーションキャプチャモジュール、RR52:リアルタイムレンダリングモジュール、IM53:映像合成モジュール、LS54:リップシンクモジュール、BI55:バックステージイメージ生成モジュール、VL56:バーチャルライトイメージ生成モジュール、RS57:レコーディングモジュール、RC58:リアルライトコントローラ、SG59:音楽生成モジュール、TM60:タイムマネジメントコントローラ、RL61:実照明光制御部、62:サウンドシステム、100:パチンコ台(遊技機)、101:遊技機本体、102:パチンコ玉飛来可能部、103:駆動ハンドル、104:玉受け AU: Audience seat, CH, CH-A (A), CH-B (B): Character, F: Cherry blossoms blowing, F1 to 3: Video of lighting, H: Hall, H1: Between screens, H2: Around the screen, ST: Stage, AC: Actor, S: isolated space, D1: basic direction, D2: direction different from the basic direction, D3: camera for the audience seat, MI, MIa, MIb: main character image, MI1, MI1a, MI1b: Main character body image, MI2, MI2a, MI2b: Shading of main character, BMI: Main background image, MMI: Main composite image, SI: Sub character image, AI: Spectator seating direction sub character image, SI1: Sub-character body image, SI2: Sub-character shadow, BSI: Sub-background image (image of audience seat), MS : Sub composite image, L: illumination light, L1: real illumination light, L2: virtual illumination light, T0: real time, Δt: minute time, T0-Δt: past time, 1: display system for holes, 2: main screen , 2a: hologram reproduction screen, 2b: rear screen, 2c: hologram projector, 2d: rear projector, 3: subscreen, 3a: horizontal screen, 3a1: horizontal first screen, 3a2: horizontal second screen, 3b: sub screen Projector, 3b1: first sub-screen projector, 4: real lighting fixture, 4x: LED, 4y: other liquid crystal panel, 5: virtual lighting fixture, 5a: virtual lighting fixture light source, 6: speaker, 11: first camera, 12: Second camera, 13: Microphone, 50: Computer, MC 51: Motion capture module, RR 52 IM 53: Video synthesis module, LS 54: Lip sync module, BI 55: Back stage image generation module, VL 56: Virtual light image generation module, RS 57: Recording module, RC 58: Real light controller, SG 59: Music generation module, TM60 : Time management controller, RL 61: real illumination light control unit, 62: sound system, 100: pachinko machine (game machine), 101: game machine main body, 102: pachinko ball flight possible part, 103: drive handle, 104: ball reception

Claims (9)

ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたホール用表示システムであって、
ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、
前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、
観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「観客席方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、
前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用い、
前記観客席方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いるものであるホール用表示システム。
A main screen for displaying animation characters operating in a hall as shaded images (hereinafter referred to as "main character image") and a main screen separately from the main screen and shading the characters arranged in the hall And a display system for a hall provided with a subscreen capable of being displayed as an image of a direction view different from the basic direction view (hereinafter referred to as "sub character image"), and a computer for generating the image of the character and the shadow of the character. And
The lighting system further comprises: a real lighting device for lighting the inside of the hall with real lighting light; and a virtual lighting device for generating virtual lighting light in the computer and displaying the virtual lighting light on the screen.
The shadow is generated by being associated with the character and illumination light irradiated to the character by both the lighting devices by the computer.
The camera includes a camera capable of photographing the audience seat, and the computer includes the photographed footage of the audience seat and the sub character image (hereinafter referred to as the “spectator seating direction sub character image”) generated as the direction image of the camera To be displayed on the sub screen,
As an image of the audience seat displayed on the sub screen, an image of a past time (T0−Δt) delayed by a minute time Δt from an actual time T0 serving as a reference for displaying the main character image is used.
The hall display system, wherein the audience seat direction view sub character image uses an image of a past time (T0−Δt) delayed by a minute time Δt from an actual time T0.
前記微小時間Δtが0.1秒〜0.5秒である請求項1記載のホール用表示システム。 The display system for holes according to claim 1, wherein the minute time Δt is 0.1 seconds to 0.5 seconds. 前記コンピュータは前記両照明器具のいずれか又は前記両照明器具双方の照明光が少なくとも前記サブスクリーンの方向に直接照射されて前記サブスクリーン並びに前記メインスクリーン若しくはこれら両スクリーン以外の部分または前記メインスクリーン及びこれら両スクリーン以外の部分に映り込む照明の映像を前記実時刻T0に同期させるものである請求項1または2記載のホール用表示システム。 In the computer, the illumination light of either or both of the lighting fixtures is directly irradiated at least in the direction of the subscreen so that the subscreen and the main screen or portions other than the both screens or the main screen and The display system for halls according to claim 1 or 2, wherein an image of illumination to be reflected in a portion other than the both screens is synchronized to the actual time T0. 前記両照明器具の照明光は結像しない光または結像する映像を含むものである請求項3記載のホール用表示システム。 4. The hall display system according to claim 3, wherein the illumination light of the two luminaires includes non-imaging light or an imaging image. 前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示する請求項1〜4のいずれかに記載のホール用表示システム。 5. The main screen according to claim 1, further comprising: a hologram reproduction screen disposed obliquely on the stage to display a hologram image, and a back screen disposed on the back of the stage, and displaying a composite image of both screens to the audience. Display system for halls according to any one. 客席からは見えない場所にアクターの動作するスペースと、同アクターの動作をキャプチャするモーションキャプチャ装置とをさらに備え、
前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えている請求項1〜5のいずれかに記載のホール用表示システム。
It also has space where the actor operates in a place not visible to the audience and a motion capture device that captures the actor's movement.
The hall display system according to any one of claims 1 to 5, wherein the computer is provided with a rendering function for generating in real time a character image interlocked with the motion of the captured actor.
前記メインスクリーン及び前記サブスクリーンの映像は前記各スクリーンに表示されたものを記録した映像を前記実照明光と同期させて上映するものである請求項1〜5のいずれかに記載のホール用表示システム。 The hall display according to any one of claims 1 to 5, wherein the images of the main screen and the sub screen are displayed by synchronizing the images recorded on the respective screens with the actual illumination light. system. 前記サブスクリーンは少なくとも前記メインスクリーンの左右に配置されている請求項1〜7のいずれかに記載のホール用表示システム。 The hall display system according to any one of claims 1 to 7, wherein the subscreens are disposed at least on the left and right of the main screen. ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたホール用表示システムを用いて行うイベントの実施方法であって、
ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、
前記陰影は前記コンピュータにより前記キャラクター及び前記両照明器具により前記キャラクターに照射された照明光と関連付けられて生成されるものであり、
観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「観客席方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、
前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻T0−Δtの映像を用い、
前記観客席方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻T0−Δtの映像を用いるイベントの実施方法。
A main screen for displaying animation characters operating in a hall as shaded images (hereinafter referred to as "main character image") and a main screen separately from the main screen and shading the characters arranged in the hall And a display system for a hall provided with a subscreen capable of being displayed as an image of a direction view different from the basic direction view (hereinafter referred to as "sub character image"), and a computer for generating the image of the character and the shadow of the character. How to implement an event using
The lighting system further comprises: a real lighting device for lighting the inside of the hall with real lighting light; and a virtual lighting device for generating virtual lighting light in the computer and displaying the virtual lighting light on the screen.
The shadow is generated by the computer in association with the character and illumination light irradiated to the character by the lighting devices.
The camera includes a camera capable of photographing the audience seat, and the computer includes the photographed footage of the audience seat and the sub character image (hereinafter referred to as the “spectator seating direction sub character image”) generated as the direction image of the camera To be displayed on the sub screen,
As an image of the audience seat displayed on the sub screen, an image of a past time T0-Δt delayed by a minute time Δt from an actual time T0 as a reference for displaying the main character image is used.
The event implementation method using an image of a past time T0-.DELTA.t delayed by a minute time .DELTA.t from the actual time T0 in the audience seat direction view sub character image.
JP2017250184A 2017-12-26 2017-12-26 Hall display system and how to implement events using it Active JP7012287B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017250184A JP7012287B2 (en) 2017-12-26 2017-12-26 Hall display system and how to implement events using it
JP2022000651A JP2022058501A (en) 2017-12-26 2022-01-05 Hall display system and event execution method using the same
JP2023144672A JP2023175742A (en) 2017-12-26 2023-09-06 Game machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017250184A JP7012287B2 (en) 2017-12-26 2017-12-26 Hall display system and how to implement events using it

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022000651A Division JP2022058501A (en) 2017-12-26 2022-01-05 Hall display system and event execution method using the same

Publications (2)

Publication Number Publication Date
JP2019115408A true JP2019115408A (en) 2019-07-18
JP7012287B2 JP7012287B2 (en) 2022-01-28

Family

ID=67304814

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017250184A Active JP7012287B2 (en) 2017-12-26 2017-12-26 Hall display system and how to implement events using it
JP2022000651A Pending JP2022058501A (en) 2017-12-26 2022-01-05 Hall display system and event execution method using the same
JP2023144672A Pending JP2023175742A (en) 2017-12-26 2023-09-06 Game machine

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022000651A Pending JP2022058501A (en) 2017-12-26 2022-01-05 Hall display system and event execution method using the same
JP2023144672A Pending JP2023175742A (en) 2017-12-26 2023-09-06 Game machine

Country Status (1)

Country Link
JP (3) JP7012287B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951706A (en) * 2020-07-01 2020-11-17 广州科技贸易职业学院 3D model rapid-construction device for clothing art design
JP2022058501A (en) * 2017-12-26 2022-04-12 株式会社ユークス Hall display system and event execution method using the same
WO2022091811A1 (en) * 2020-10-29 2022-05-05 ソニーグループ株式会社 Image processing device, image processing method, and image processing system
JP2022191667A (en) * 2021-06-16 2022-12-28 株式会社ニューギン game machine

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049134A (en) * 1996-07-12 1998-02-20 Somuraa Kurisuta Three-dimensional video key system
JP2003533235A (en) * 1999-07-26 2003-11-11 ガイ・ジョナサン・ジェームズ・ラッカム Virtual production device and method
JP2008271237A (en) * 2007-04-20 2008-11-06 Sony Corp Image processing apparatus, image processing method and image processing program, and reproduced image generating device, reproduced image generating method and reproduced image generating program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7012287B2 (en) * 2017-12-26 2022-01-28 株式会社ユークス Hall display system and how to implement events using it

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049134A (en) * 1996-07-12 1998-02-20 Somuraa Kurisuta Three-dimensional video key system
JP2003533235A (en) * 1999-07-26 2003-11-11 ガイ・ジョナサン・ジェームズ・ラッカム Virtual production device and method
JP2008271237A (en) * 2007-04-20 2008-11-06 Sony Corp Image processing apparatus, image processing method and image processing program, and reproduced image generating device, reproduced image generating method and reproduced image generating program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022058501A (en) * 2017-12-26 2022-04-12 株式会社ユークス Hall display system and event execution method using the same
CN111951706A (en) * 2020-07-01 2020-11-17 广州科技贸易职业学院 3D model rapid-construction device for clothing art design
WO2022091811A1 (en) * 2020-10-29 2022-05-05 ソニーグループ株式会社 Image processing device, image processing method, and image processing system
JP2022191667A (en) * 2021-06-16 2022-12-28 株式会社ニューギン game machine
JP7371943B2 (en) 2021-06-16 2023-10-31 株式会社ニューギン gaming machine

Also Published As

Publication number Publication date
JP2022058501A (en) 2022-04-12
JP7012287B2 (en) 2022-01-28
JP2023175742A (en) 2023-12-12

Similar Documents

Publication Publication Date Title
US11675257B2 (en) Communication stage and imaging systems
US10447967B2 (en) Live teleporting system and apparatus
US5964064A (en) Theater with multiple screen three dimensional film projection system
US6290359B1 (en) Image forming apparatus and method for live performance
CN210021183U (en) Immersive interactive panoramic holographic theater and performance system
US10156730B1 (en) Accurate and balanced lighting in a Pepper's ghost projection system for live cinematic performances
JP2023175742A (en) Game machine
US9219910B2 (en) Volumetric display system blending two light types to provide a new display medium
KR20140010872A (en) Multi-projection system for expanding a visual element of main image
JP2009521005A (en) Projection apparatus and projection method
US20160266543A1 (en) Three-dimensional image source for enhanced pepper's ghost illusion
US9989775B2 (en) Dual-sided pepper's ghost illusion
US6341868B1 (en) Image forming apparatus and method for live performances
JP2023130363A (en) Display system for hall and method for executing event using the same
JP2006519627A (en) Theater Hall Projection
US20240060613A1 (en) Simulated Fireplace
BR122018073457B1 (en) LARGE FORMAT EXHIBITION ROOM WITH SOCIAL MEDIA LINK

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20171228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220106

R150 Certificate of patent or registration of utility model

Ref document number: 7012287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150