JP2019115408A - Hall display system and event execution method using the same - Google Patents
Hall display system and event execution method using the same Download PDFInfo
- Publication number
- JP2019115408A JP2019115408A JP2017250184A JP2017250184A JP2019115408A JP 2019115408 A JP2019115408 A JP 2019115408A JP 2017250184 A JP2017250184 A JP 2017250184A JP 2017250184 A JP2017250184 A JP 2017250184A JP 2019115408 A JP2019115408 A JP 2019115408A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- character
- sub
- hall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Holo Graphy (AREA)
- Pinball Game Machines (AREA)
Abstract
Description
本発明は、ホール用表示システム及びこれを用いて行うイベントの実施方法に関する。さらに詳しくは、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたホール用表示システム及びこれを用いて行うイベントの実施方法に関する。 The present invention relates to a display system for holes and an implementation method of an event performed using the same. More specifically, the main screen for displaying the animation character operating in the hall as a shaded image in basic direction (hereinafter referred to as "main character picture") and the main screen separately from the main screen are disposed in the hall and the It has a sub-screen capable of displaying a character with a shadow and displaying as a direction-viewing video (hereinafter referred to as "sub-character video") different from the basic direction view, and a computer generating the character and a shadow video of the character. The present invention relates to a display system for holes and an implementation method of an event performed using the same.
3D画像を表示するホール用表示システム及びこれを用いて行うイベントの実施方法としては、次の特許文献1の如きものが存在している。この劇場システムでは、メインスクリーンにおいて、ホログラムの前方スクリーンと後方スクリーンの組み合わせで臨場感を得ることを目的としている。一方、近年、さらなる臨場感を求め、メインスクリーンの横にサブスクリーンを設け、例えばキャラクターを異なる角度で表示することで、臨場感を向上させる試みがなされている。
As a hall | hole display system which displays a 3D image, and the implementation method of the event performed using this, a thing like following
かかる従来の実情に鑑みて、本発明は、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供することを目的とする。 In view of such conventional circumstances, it is an object of the present invention to provide a display system for holes which further increases the sense of reality and an implementation method of an event performed using the same.
上記目的を達成するため、本発明に係るホール用表示システムの特徴は、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えた構成であって、ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「観客席方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用い、前記観客席方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いることにある。 In order to achieve the above object, the hall display system according to the present invention is characterized by the main screen displaying the animation character operating in the hall as a video with a basic direction view (hereinafter referred to as "main character video") with shading. A sub-screen disposed in the hole separately from the main screen and capable of displaying the video as a video with a different direction of vision (hereinafter referred to as "sub-character video") with shading and with a different character than the basic direction of vision; And a computer for generating an image of the shadow of the character, wherein a real lighting fixture illuminates the inside of the hall with real lighting light, and a virtual lighting fixture generating virtual lighting within the computer and displaying the virtual lighting on the screen And the shadow is the character and It is generated by being associated with the illumination light irradiated to the character by both lighting fixtures and the computer, and provided with a camera capable of photographing an audience seat, and the computer is an image of the photographed audience seat and the camera The above-mentioned spectator seat displayed on the sub-screen is displayed on the sub-screen by combining the sub-character image (hereinafter referred to as "spectator seat direction-view sub-character image") generated as a direction-view image. Image of the past time (T0-Δt) delayed by a minute time Δt from the actual time T0, which is the reference for displaying the main character image, as the image of the main character image. The image of the past time (T0−Δt) delayed by the time Δt is used.
同特徴によれば、メインキャラクター映像とサブキャラクター映像とは異なる方向視の角度に加え陰影付きで表示されるため、臨場感が付与される。そして、図4,5に示すように、「観客席方向視サブキャラクター映像」は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いるので、観客は実時刻T0のメインキャラクター映像と、過去時刻(T0−Δt)の観客席方向視サブキャラクター映像を同時に見ることとなる。実時刻と過去時刻とを同時に見ると共に、サブスクリーンに対し遅れた映像が現れることで、中央からサブへと人の注意が移り、その効果によって、空間的な広がり、臨場感をより一層感じるようになる。 According to the feature, since the main character image and the sub character image are displayed with shading in addition to angles of different direction views, a sense of reality is given. Then, as shown in FIGS. 4 and 5, since the “spectator seat direction view sub character image” uses the image of the past time (T0−Δt) delayed by a minute time Δt from the actual time T0, the spectator is at the real time T0. The main character image and the audience seat direction view sub character image of the past time (T0−Δt) will be viewed simultaneously. By simultaneously seeing real time and past time and displaying a delayed image on the sub screen, people's attention shifts from the center to the sub, and the effect spreads the space and makes you feel more realistically become.
一方、サブスクリーンに表示される観客席の映像も微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いるため、観客は自らの過去の動作を映像で確認することになり、この点でも、空間的な広がり、臨場感をより一層感じるようになる。 On the other hand, since the image of the audience seat displayed on the sub screen also uses the image of the past time (T0-Δt) delayed by the minute time Δt, the spectator will confirm his past operation by the image, and this point However, it will spread more and feel more realistic.
しかも、サブスクリーンに表示される観客席の映像も観客席方向視サブキャラクター映像も、双方が過去時刻(T0−Δt)のものを用いているため、上記両照明や陰影に矛盾を生じない。したがって、観客はとても自然な感覚をもってサブスクリーンの映像を受け入れるため、臨場感を阻害することもない。前記微小時間Δtは望ましくは0.1秒〜0.5秒とすると好適に実施可能である。 Moreover, since both the audience seat image and the audience seat direction view sub character image displayed on the sub screen use the one at the past time (T0−Δt), there is no contradiction in both the illumination and the shadow. Therefore, the audience accepts the sub-screen image with a very natural feeling, and does not disturb the sense of reality. Preferably, the minute time Δt is preferably 0.1 seconds to 0.5 seconds.
上記特徴に加え、前記コンピュータは前記両照明器具のいずれか又は前記両照明器具双方の照明光が少なくとも前記サブスクリーンの方向に直接照射されて前記サブスクリーン並びに前記メインスクリーン若しくはこれら両スクリーン以外の部分または前記メインスクリーン及びこれら両スクリーン以外の部分に映り込む照明の映像を前記実時刻T0に同期させてもよい。上記特徴では、観客は実時刻T0のメインキャラクター映像と、過去時刻(T0−Δt)の観客席方向視サブキャラクター映像を同時に見るが、同特徴によれば、図6に示すように、さらに実時刻T0の照明が例えば両スクリーンやホールの一部に跨ることができる。時間の異なる光が横断することで、より臨場感に深みを増すことができる。この場合、前記両照明器具の照明光は結像しない光または結像する映像を含むものとすることができる。 In addition to the above-mentioned features, in the computer, the illumination light of either or both of the lighting fixtures is directly irradiated at least in the direction of the subscreen so that the subscreen and the main screen or parts other than these two screens. Alternatively, the image of the light reflected on the main screen and portions other than the two screens may be synchronized to the actual time T0. In the above feature, the spectator simultaneously sees the main character image at real time T0 and the audience seat direction view sub character image at past time (T0-Δt). According to the same feature, according to the same feature, as shown in FIG. The illumination at time T0 can, for example, span part of both screens or holes. Crossing with light of different time can add depth to the realism. In this case, the illumination light of both the lighting fixtures can include light which is not imaged or an image which is imaged.
上記各特徴において、前記メインスクリーンは、ステージ上に傾斜配置されホログラム映像を表示するホログラム再生スクリーンと、ステージ背面に配置される背面スクリーンとを備え、これら両スクリーンの合成画像を観客に表示させてもよい。 In each of the above features, the main screen is provided with a hologram reproduction screen which is disposed on the stage at a tilt and displays a hologram image, and a rear screen arranged on the back of the stage, and a composite image of these both screens is displayed to the spectator It is also good.
本システムを実施するにあたっては、客席からは見えない場所にアクターの動作するスペースと、同アクターの動作をキャプチャするモーションキャプチャ装置とをさらに備え、前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えさせてもよい。 In implementing the present system, the computer further comprises a space where the actor operates and a motion capture device that captures the operation of the actor in a place not seen from the customer seat, and the computer is a character interlocking with the captured actor's operation It may be equipped with a rendering function that generates an image in real time.
一方、これに対し、前記メインスクリーン及び前記サブスクリーンの映像は前記各スクリーンに表示されたものを記録した映像を前記実照明光と同期させて上映させるようにしてもよい。 On the other hand, the images of the main screen and the sub screen may display the images displayed on the screens in synchronization with the actual illumination light.
前記サブスクリーンは少なくとも前記メインスクリーンの左右に配置することで、左右への広がりを持たせることができる。 The sub-screens can be made to have left-right spread by being disposed at least on the left and right of the main screen.
ホール用表示システムを用いて行うイベントの実施方法の特徴は、ホールにおいて動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記ホール内に配置されて前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えた構成において、ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記コンピュータにより前記キャラクター及び前記両照明器具により前記キャラクターに照射された照明光と関連付けられて生成されるものであり、観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「観客席方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻T0−Δtの映像を用い、前記観客席方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻T0−Δtの映像を用いることにある。 A feature of the method of performing the event using the hall display system is that the main screen displays characters of animations operating in the hall as shaded images (hereinafter referred to as “main character images”) with shading, and the main screen. A sub-screen disposed in the hole separately from the screen and capable of displaying the video as a video with a different direction of sight (hereinafter referred to as a "sub-character video") with shading and with a different direction from the basic direction; A real lighting device for illuminating the inside of the hall with real lighting light, and a virtual lighting device for generating virtual lighting light in the computer and displaying the virtual lighting light on the screen; The shadow is generated by the computer by the computer. The camera is generated by being associated with illumination light irradiated to the character by the rector and the lighting devices, and the camera includes a camera capable of photographing an audience seat, and the computer is an image of the photographed audience seat and the camera The above-mentioned spectator seat displayed on the sub-screen is displayed on the sub-screen by combining the sub-character image (hereinafter referred to as "spectator seat direction-view sub-character image") generated as a direction-view image. The image of the past time T0-.DELTA.t delayed by the minute time .DELTA.t from the actual time T0, which is the reference for displaying the main character picture, is used as the picture of the main character picture. Using the image of the past time T0-.DELTA.t delayed by only.
上記本発明に係るホール用表示システム及びこれを用いて行うイベントの実施方法の特徴によれば、さらに臨場感の高まるホール用表示システム及びこれを用いて行うイベントの実施方法を提供しえるに至った。 According to the hall display system according to the present invention and the implementation method of the event performed using the same, it is possible to provide a hall display system for enhancing the sense of reality and an implementation method of the event performed using the hall display system. The
本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。 Other objects, configurations, and effects of the present invention will be apparent from the following section of the embodiments of the present invention.
次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。本発明に係るホール用表示システム1は、図1〜3に示すように、メインスクリーン2、左右一対のサブスクリーン3、実照明器具4、仮想照明器具5(仮想照明器具光源5a)、スピーカー6、観客席AUの映像を撮影する第一カメラ11、コンピュータ50をホールHまたはその近くに備えている。
Next, the present invention will be described in more detail, referring to the attached drawings as appropriate. As shown in FIGS. 1 to 3, the
ホール用表示システム1は、さらに第二カメラ12及びマイク13をホールHとは別室に備えている。第二カメラ12は隔離スペースSに設置され、アクターACの動作を撮影し、モーションキャプチャモジュールMC51に送る。マイク13は声優またはボーカリストの声を録音しリップシンクモジュールLS54に送る。
The
ホールHに設置されるメインスクリーン2は、ステージSTに斜めに設置されるホログラム再生スクリーン2a、ステージSTの背面に設置される背面スクリーン2b、ホログラム再生スクリーン2aに映像を映すホログラムプロジェクタ2c、背面スクリーン2bに映像を移す背面プロジェクタ2dを備えている。背面スクリーン2bの映像はホログラム再生スクリーン2aを透過して、このホログラム再生スクリーン2aの映像と共に合成されて観客席AUから見える。
The
一方、各サブスクリーン3は、左右の横第一スクリーン3a1及び横第二スクリーン3a2(横スクリーン3a)と、これら両横スクリーン3aにそれぞれ映像を映す第一サブスクリーンプロジェクタ3b1及び第二サブスクリーンプロジェクタ(後者は図示省略、両方併せてサブスクリーンプロジェクタ3b)を備えている。
On the other hand, each
コンピュータ50は、モーションキャプチャモジュールMC51、リアルタイムレンダリングモジュールRR52、映像合成モジュールIM53、リップシンクモジュールLS54、バックステージイメージ生成モジュールBI55、バーチャルライトイメージ生成モジュールVL56、リアルライトコントローラRC58、音楽生成モジュールSG59、各モジュールの時点合わせの基準となるタイムマネジメントコントローラTM60を備えている。
The
モーションキャプチャモジュールMC51は、第二カメラ12より撮影されたアクターACの動作を分析し、リアルタイムレンダリングモジュールRR52において動作するキャラクターの3D映像を生成する。第二カメラ12は複数台備えられており、アクターACを異なった角度から撮影し、モーションキャプチャーを行う。通常は正面の第二カメラ12の撮影方向がメインキャラクターを生成する際の基本方向視D1となる。
The motion capture module MC51 analyzes the motion of the actor AC captured by the
バーチャルライトイメージ生成モジュールVL56はバーチャル空間での照明のイメージ像を作成し、リアルライトコントローラRC58と相まって光の情報をバックステージイメージ生成モジュールBI55とリアルタイムレンダリングモジュールRR52に送り、照明の状態と矛盾しない陰影付きの映像を生成する。実照明光制御部RL61はリアルライトコントローラRC58に制御され、実照明器具4を動作させてホールH内の実照明を行う。
The virtual light image generation module VL56 generates an image of the illumination in the virtual space, and sends information of light to the backstage image generation module BI55 and the real time rendering module RR52 together with the real light controller RC58, and generates a shadow consistent with the state of the illumination Generate a video with The actual illumination light control unit RL 61 is controlled by the real light controller RC 58 to operate the
第一カメラ11により撮影された観客席AUの映像は、映像合成モジュールIM53で先のリアルタイムレンダリングモジュールRR52の映像と合成され、サブスクリーンプロジェクタ3bで横スクリーン3aに映される。一方、ホログラム再生スクリーン2a、背面スクリーン2bには、リアルタイムレンダリングモジュールRR52の映像が、それぞれホログラムプロジェクタ2c、背面プロジェクタ2dによりメインキャラクター映像として映し出される。
The video of the spectator seat AU taken by the
リップシンクモジュールLS54はマイク13により録音した声優等の音声を上記メインキャラクター映像に合わせて遅延させる。また、音楽生成モジュールSG59は、BGMや効果音を生成し、これらのBGM等はマイク13の音声と共にサウンドシステム62を通じてスピーカー6によりホールHに流される。
The lip
図1,4,5に示すように、メインスクリーン2には、キャラクターCHとして、キャラクターA(CH−A)とキャラクターB(CH−B)との2者が映し出されている。これに対し、左右一対のサブスクリーン3にはキャラクターB(CH−B)のみが映し出されている。
As shown in FIGS. 1, 4 and 5, two characters, character A (CH-A) and character B (CH-B), are displayed on the
メインスクリーン2の映像を詳述すると、メインキャラクター映像MI(MIa、MIb)は、メインキャラクター本体映像MI1(MI1a,MI1b)及びメインキャラクターの陰影MI2(MI2a,MI2b)とよりなる。さらにこれにメイン背景映像BMIが加わり,メイン合成映像MMIができる。 The main character image MI (MIa, MIb) is composed of a main character main image MI1 (MI1a, MI1b) and a shadow MI2 (MI2a, MI2b) of the main character. Furthermore, the main background image BMI is added to this, and the main composite image MMI can be made.
一方、左右一対のサブスクリーン3では、サブキャラクター映像SI(観客席方向視サブキャラクター映像AI)は、サブキャラクター本体映像SI1及びサブキャラクターの陰影SI2よりなる。そして、さらにサブ背景映像(観客席の映像)BSIが加わることにより、サブ合成映像MSIができる。
On the other hand, in the pair of left and
メインスクリーン2におけるメイン合成映像MMIは、基本方向視D1でレンダリングされたキャラクターを利用している。この基本方向視D1は第二カメラ12の方向視と一致する場合もあれば異なる場合もある。一方、基本方向視とは異なる方向視D2は、たとえば第一カメラ11の観客席用カメラの方向視D3を用いることができる。よって、キャラクターB(CH−B)はメインスクリーンでは後ろ向きであるが、サブスクリーンでは前向きとなる。
The main composite image MMI on the
図1において第一カメラ11の観客席用カメラの方向視D3の視野には実照明器具4が入っており、この実照明器具4からは実照明光L1が観客席AU、ステージST並びにキャラクターA(CH−A)及びキャラクターB(CH−B)に照射されている。
In FIG. 1, the
図4においてこの実照明器具4の光源の映像4’及び観客席に照射される実照明光L1がキャラクターB(CH−B)と共に映りこんでいる。キャラクターBに向かう実照明光L2は実際にはキャラクターに照射されないため、上記光源の映像4’の位置を仮想照明器具5の光源とも捉え、仮想照明光L2として表示している。
In FIG. 4, the image 4 'of the light source of the
図1,3〜5に示すように、メインスクリーン2では実時刻T0のキャラクターA(CH−A)とキャラクターB(CH−B)との2者が映し出されている。これに対し、サブスクリーンでは、微小時間Δtだけ遡った過去時刻(T0−Δt)のキャラクターB(CH−B)の映像が映し出されている。これら各スクリーンの映像は、各時刻に合わせた上記実照明器具4、仮想照明器具5の実照明光L1、仮想照明光L2の情報に基づき陰影や背景が生成される。
As shown in FIGS. 1, 3 to 5, on the
さらにサブ背景映像(観客席の映像)BSIも、微小時間Δtだけ遡った過去時刻(T0−Δt)の映像が用いられている。 サブキャラクター映像SIともに過去時刻(T0−Δt)のものを用いているので、照明光の色が異なる等の矛盾も生じなく、臨場感が自然に認識されることとなる。 Further, as the sub background image (image of the audience seat) BSI, the image of the past time (T0−Δt) which is traced back by the minute time Δt is used. Since the sub character image SI uses the one at the past time (T0−Δt), contradictions such as different illumination light colors do not occur, and the sense of reality is naturally recognized.
ところで、サブ背景映像(観客席の映像)BSIは、ハードウエアの性能上、微小時間Δtの遅延を生じる可能性がある。この場合、ハードウエアの性能に合わせて、サブキャラクター映像SIも時刻微小時間Δtだけ遡った過去の映像を用いても良く、微小時間Δtをハードウエアの遅延の映像合成モジュールIM53のソフトウエア遅延とで調整してもよい。微小時間Δtは望ましくは0.1秒〜0.5秒とすると好適に実施可能である。0.1秒以上あれば映像の違いを認識でき、0.5秒を超えると不自然に感じられるからである。 By the way, the sub-background image (image of the audience seat) BSI may cause a delay of a minute time Δt in terms of hardware performance. In this case, the sub character image SI may also use a past image traced back by the minute time Δt in accordance with the hardware performance, and the minute time Δt is a software delay of the video synthesis module IM53 of the hardware delay and You may adjust by. The minute time Δt is preferably 0.1 seconds to 0.5 seconds. This is because if the time is 0.1 seconds or more, the difference in the image can be recognized, and if it exceeds 0.5 seconds, it is unnatural.
メインスクリーン2には、メインキャラクター本体映像MI1(MI1a,MI1b)、メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMIが合成されて表示される。これらの要素は、ホログラム再生スクリーン2a、背面スクリーン2bに次のような組み合わせで表示されうる。
On the
ケース1)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)、 背面スクリーン2b;メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMI
Case 1)
ケース2)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)及びメインキャラクターの陰影MI2(MI2a,MI2b)、背面スクリーン2b;メイン背景映像BMI
Case 2)
ケース3)ホログラム再生スクリーン2a;メインキャラクター本体映像MI1(MI1a,MI1b)、メインキャラクターの陰影MI2(MI2a,MI2b)及びメイン背景映像BMIの一部(BMI1)、背面スクリーン2b;メイン背景映像BMIの残余(BMI2)
Case 3)
これらの映像のスクリーン割り付けは適宜必要に応じて採用される。 The screen assignment of these images is adopted as needed.
なお、上記では、アクターの動作するスペースやモーションキャプチャ装置を設けた。しかし、図3に示すように、上記イベントの実施の映像、音響、照明等のコントロールを全てレコーディングモジュールRS57に記録し、これを再生させることによりイベントを実施してもよい。
In the above, a space for motion of an actor and a motion capture device are provided. However, as shown in FIG. 3, the event such as video, sound, lighting, etc. of the implementation of the above event may all be recorded in the
次に、本発明の別実施形態について説明する。上記第一実施形態と同様の部材には同一の符号を附してある。また、同趣旨の部材の言い換えをしているものは、下記で言及以外の上記要素のすべてに適用されうる。 Next, another embodiment of the present invention will be described. The same members as those in the first embodiment are given the same reference numerals. Moreover, what is paraphrasing of the member of the same meaning may be applied to all the said elements except mentioning below.
上記実施形態では、実照明器具4及び仮想照明器具5の実照明光L1及び仮想照明光L2の時刻は、メイン、サブスクリーンで異なるものであった。しかし、図6(a)に示す第二実施形態では、両照明器具4,5のいずれか又は両照明器具4,5双方の照明光L1,L2をメインスクリーン2及びサブスクリーン3の方向に直接照射させて、これら両スクリーン2,3に映り込む照明の映像(桜吹雪F)をコンピュータ50において前記実時刻T0に同期させてある。本第二実施形態では、さらにホールHの一部であるスクリーン間H1やスクリーン周辺H2にも桜吹雪F3(F)を映している。これら両スクリーン2,3に映る桜吹雪F1,F2(F)は仮想照明器具5の仮想照明光L2によるもの、ホールHの一部であるスクリーン間H1やスクリーン周辺H2に映る桜吹雪F3(F)は実照明器具4の実照明光L1によるものである。
In the above embodiment, the times of the actual illumination light L1 and the virtual illumination light L2 of the
この実施例によれば、ホールHの一部であるスクリーン間H1やスクリーン周辺H2にも桜吹雪Fは映っているが、さらに観客席AUにも映してもよく、これらを映さないでメインスクリーン2及びサブスクリーン3のみに桜吹雪F1,F2を映しても良い。サブスクリーンの過去時刻(T0−Δt)とは時刻の異なる光がサブスクリーン4と他の部分を横断することで、より臨場感に深みを増すことができる。桜吹雪Fは結像した映像であるが、スポットライトのような結像していない照明光Lを用いても良い。なお、桜吹雪Fが方向視の異なるメインスクリーン2,サブスクリーン3に映るのが不自然である場合は図6(b)の如く、メインスクリーン2と同一方向視でサブスクリーン3のサブ背景映像MSIがメイン背景映像BMIと続くようにしてもよい。
According to this embodiment, the cherry blossoms snowfall F is also reflected in the inter-screen H1 and the screen periphery H2 which are a part of the hall H, but may also be reflected in the spectator seat AU. It is also possible to project the cherry blossoms F1 and F2 only on the 2 and the
上記実施形態では、メインスクリーン2に映すメイン合成映像MMIに実時刻T0のもの、左右のサブスクリーンに映すサブ合成映像MSIに過去時刻(T0−Δt)のものを用い、スクリーン間の時刻の違いを二段階とした。しかし、3つのスクリーン間の時間を3段階に変えても良い。例えば、メインスクリーン2に実時刻、一方のサブスクリーン3に未来時刻、他法のサブスクリーン3に過去時刻を用いたり、現在、過去、さらに過去等、複数の時刻のものを用いても良い。スクリーンの数と時刻の切り替えは3以上の複数であってもよい。
In the above embodiment, the main composite video MMI displayed on the
上記実施形態では、本発明を、ホールで利用するホール用表示システム及びこれを用いて行うイベントの実施方法として実施した。しかし、本発明は、パチンコ又はパチスロ等の遊技機においても実施することができる。この場合、アクターのモーションキャプチャーを行わなくても良く、また、上述の如く実施の映像、音響、照明等のコントロールを全てレコーディングモジュールRS57に記録し、これを再生させてもよい。
In the said embodiment, this invention was implemented as a display system for hall | hole utilized by a hall | hole, and the implementation method of the event performed using this. However, the present invention can also be practiced in gaming machines such as pachinko or pachislot machines. In this case, the motion capture of the actor does not have to be performed, and all the controls of the implemented image, sound, illumination, etc. as described above may be recorded in the
すなわち、本発明は、動作するアニメーションのキャラクターを陰影付きで基本方向視の映像(以下「メインキャラクター映像」という)として表示するメインスクリーンと、前記メインスクリーンとは別に前記キャラクターを陰影付きで前記基本方向視とは異なる方向視の映像(以下「サブキャラクター映像」という)として表示可能なサブスクリーンと、前記キャラクター及びこのキャラクターの陰影の映像を生成するコンピュータとを備えたパチンコ又はパチスロ等の遊技機であって、遊技機内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、遊技機外を撮影可能なカメラを備え、前記コンピュータは撮影された遊技機外の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「遊技機外方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、前記サブスクリーンに表示される前記遊技機外の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用い、前記遊技機外方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いるものである遊技機として使用してもよい。 That is, according to the present invention, the main screen for displaying the animated character in motion as a video with a basic direction view (hereinafter referred to as "main character video") with shading, and the basic screen with the character shaded in addition to the main screen. A game machine such as a pachinko or pachislot machine equipped with a sub screen that can be displayed as a video of a direction view different from the direction view (hereinafter referred to as "sub character image") and a computer for generating the image of the character and the shadow of the character And a virtual lighting device for generating virtual lighting light in the computer and displaying the virtual lighting light on the screen, wherein the shadow is the character and both lighting devices. Illumination light emitted to the character and the light The camera includes a camera capable of photographing outside the gaming machine, and the computer includes the photographed image outside the gaming machine and the sub character image generated as a video of the camera in a direction view The main character image is displayed on the sub screen by combining (hereinafter referred to as “outside view sub character image of the gaming machine”), and the main character image is displayed as the image outside the gaming machine displayed on the sub screen. Using the image of the past time (T0-.DELTA.t) delayed by the minute time .DELTA.t from the actual time T0, which is the reference, and the past time (T0) delayed by a minute time .DELTA.t from the actual time T0. It may be used as a game machine that uses an image of -Δt).
図7に示すように、遊技機の一例であるパチンコ台100は、遊技機本体101、パチンコ玉飛来可能部102、玉の発射をコントロールする駆動ハンドル103及び玉受け104を備えている。パチンコ玉飛来可能部102の中央には、メインスクリーン2、その左右には一対のサブスクリーン3,3としてそれぞれ液晶パネルが組み込まれている。また、実照明器具4の照明光の映像をLED4xや、同じく広範囲に設けられた他の液晶パネル4yにより再現することができる。
As shown in FIG. 7, a
もちろん、実照明器具4を別に設けて、照明光をパチンコ玉飛来可能部102に照射させてもよい。第一カメラ11は本実施形態では遊技機本体10の中央に設けられているが、パチンコホールの天井や他の部分に設けてもよい。また、第一カメラ11や映像合成モジュールIM53を設けずに、上記他の要素を組み合わせて実施してもよい。本発明は同様にパチスロ器やその他の遊技機にも適用可能である。
Of course, the
本発明におけるキャラクターには、人物や動物等の他、植物や家具・花瓶などの静物も含まれる。照明が変わり、視点が切り替えられれば陰影も変わり、上記効果が奏されるからである。 The characters in the present invention include not only human beings and animals but also still life such as plants, furniture and vases. This is because the illumination changes, and if the viewpoint is switched, the shadow changes, and the above effect is produced.
本発明は、バーチャルキャラクターによるコンサートやイベント等に用いることの可能なホール用表示システム及びこれを用いて行うイベントの実施方法の他、パチンコ又はパチスロ等の遊技機として利用することができる。ホールは屋外も含まれ、ステージ上にスクリーンが設置できればよい。 The present invention can be used as a pachinko or pachislot game machine as well as a hall display system that can be used for a virtual character concert or event and the like, and an implementation method of an event performed using the hall display system. The hall also includes the outdoors, and it is sufficient if a screen can be installed on the stage.
AU:観客席、CH,CH−A(A),CH−B(B):キャラクター、F:桜吹雪、F1〜3:照明の映像、H:ホール、H1:スクリーン間、H2:スクリーン周辺、ST:ステージ、AC:アクター、S:隔離スペース、D1:基本方向視、D2:基本方向視とは異なる方向視、D3:観客席用カメラの方向視、MI,MIa,MIb:メインキャラクター映像、MI1,MI1a,MI1b:メインキャラクター本体映像、MI2,MI2a,MI2b:メインキャラクターの陰影、BMI:メイン背景映像、MMI:メイン合成映像、SI:サブキャラクター映像、AI:観客席方向視サブキャラクター映像、SI1:サブキャラクター本体映像、SI2:サブキャラクターの陰影、BSI:サブ背景映像(観客席の映像)、MSI:サブ合成映像、L:照明光、L1:実照明光、L2:仮想照明光、T0:実時刻、Δt:微小時間、T0−Δt:過去時刻、1:ホール用表示システム、2:メインスクリーン、2a:ホログラム再生スクリーン、2b:背面スクリーン、2c:ホログラムプロジェクタ、2d:背面プロジェクタ、3:サブスクリーン、3a:横スクリーン、3a1:横第一スクリーン、3a2:横第二スクリーン、3b:サブスクリーンプロジェクタ、3b1:第一サブスクリーンプロジェクタ、4:実照明器具、4x:LED、4y:他の液晶パネル、5:仮想照明器具、5a:仮想照明器具光源、6:スピーカー、11:第一カメラ、12:第二カメラ、13:マイク、50:コンピュータ、MC51:モーションキャプチャモジュール、RR52:リアルタイムレンダリングモジュール、IM53:映像合成モジュール、LS54:リップシンクモジュール、BI55:バックステージイメージ生成モジュール、VL56:バーチャルライトイメージ生成モジュール、RS57:レコーディングモジュール、RC58:リアルライトコントローラ、SG59:音楽生成モジュール、TM60:タイムマネジメントコントローラ、RL61:実照明光制御部、62:サウンドシステム、100:パチンコ台(遊技機)、101:遊技機本体、102:パチンコ玉飛来可能部、103:駆動ハンドル、104:玉受け AU: Audience seat, CH, CH-A (A), CH-B (B): Character, F: Cherry blossoms blowing, F1 to 3: Video of lighting, H: Hall, H1: Between screens, H2: Around the screen, ST: Stage, AC: Actor, S: isolated space, D1: basic direction, D2: direction different from the basic direction, D3: camera for the audience seat, MI, MIa, MIb: main character image, MI1, MI1a, MI1b: Main character body image, MI2, MI2a, MI2b: Shading of main character, BMI: Main background image, MMI: Main composite image, SI: Sub character image, AI: Spectator seating direction sub character image, SI1: Sub-character body image, SI2: Sub-character shadow, BSI: Sub-background image (image of audience seat), MS : Sub composite image, L: illumination light, L1: real illumination light, L2: virtual illumination light, T0: real time, Δt: minute time, T0-Δt: past time, 1: display system for holes, 2: main screen , 2a: hologram reproduction screen, 2b: rear screen, 2c: hologram projector, 2d: rear projector, 3: subscreen, 3a: horizontal screen, 3a1: horizontal first screen, 3a2: horizontal second screen, 3b: sub screen Projector, 3b1: first sub-screen projector, 4: real lighting fixture, 4x: LED, 4y: other liquid crystal panel, 5: virtual lighting fixture, 5a: virtual lighting fixture light source, 6: speaker, 11: first camera, 12: Second camera, 13: Microphone, 50: Computer, MC 51: Motion capture module, RR 52 IM 53: Video synthesis module, LS 54: Lip sync module, BI 55: Back stage image generation module, VL 56: Virtual light image generation module, RS 57: Recording module, RC 58: Real light controller, SG 59: Music generation module, TM60 : Time management controller, RL 61: real illumination light control unit, 62: sound system, 100: pachinko machine (game machine), 101: game machine main body, 102: pachinko ball flight possible part, 103: drive handle, 104: ball reception
Claims (9)
ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、
前記陰影は前記キャラクター及び前記両照明器具で前記キャラクターに照射された照明光と前記コンピュータにより関連付けられて生成されるものであり、
観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「観客席方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、
前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用い、
前記観客席方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻(T0−Δt)の映像を用いるものであるホール用表示システム。 A main screen for displaying animation characters operating in a hall as shaded images (hereinafter referred to as "main character image") and a main screen separately from the main screen and shading the characters arranged in the hall And a display system for a hall provided with a subscreen capable of being displayed as an image of a direction view different from the basic direction view (hereinafter referred to as "sub character image"), and a computer for generating the image of the character and the shadow of the character. And
The lighting system further comprises: a real lighting device for lighting the inside of the hall with real lighting light; and a virtual lighting device for generating virtual lighting light in the computer and displaying the virtual lighting light on the screen.
The shadow is generated by being associated with the character and illumination light irradiated to the character by both the lighting devices by the computer.
The camera includes a camera capable of photographing the audience seat, and the computer includes the photographed footage of the audience seat and the sub character image (hereinafter referred to as the “spectator seating direction sub character image”) generated as the direction image of the camera To be displayed on the sub screen,
As an image of the audience seat displayed on the sub screen, an image of a past time (T0−Δt) delayed by a minute time Δt from an actual time T0 serving as a reference for displaying the main character image is used.
The hall display system, wherein the audience seat direction view sub character image uses an image of a past time (T0−Δt) delayed by a minute time Δt from an actual time T0.
前記コンピュータはキャプチャされたアクターの動作と連動するキャラクタ映像をリアルタイムに生成するレンダリング機能を備えている請求項1〜5のいずれかに記載のホール用表示システム。 It also has space where the actor operates in a place not visible to the audience and a motion capture device that captures the actor's movement.
The hall display system according to any one of claims 1 to 5, wherein the computer is provided with a rendering function for generating in real time a character image interlocked with the motion of the captured actor.
ホール内を実照明光で照らす実照明器具と前記コンピュータ内において仮想照明光を生成し前記スクリーンに表示する仮想照明器具とをさらに備え、
前記陰影は前記コンピュータにより前記キャラクター及び前記両照明器具により前記キャラクターに照射された照明光と関連付けられて生成されるものであり、
観客席を撮影可能なカメラを備え、前記コンピュータは撮影された観客席の映像と前記カメラの方向視の映像として生成された前記サブキャラクター映像(以下「観客席方向視サブキャラクター映像」という)とを合成して前記サブスクリーンに表示するものであり、
前記サブスクリーンに表示される前記観客席の映像として前記メインキャラクター映像の表示される基準となる実時刻T0より微小時間Δtだけ遅延した過去時刻T0−Δtの映像を用い、
前記観客席方向視サブキャラクター映像は実時刻T0より微小時間Δtだけ遅延した過去時刻T0−Δtの映像を用いるイベントの実施方法。 A main screen for displaying animation characters operating in a hall as shaded images (hereinafter referred to as "main character image") and a main screen separately from the main screen and shading the characters arranged in the hall And a display system for a hall provided with a subscreen capable of being displayed as an image of a direction view different from the basic direction view (hereinafter referred to as "sub character image"), and a computer for generating the image of the character and the shadow of the character. How to implement an event using
The lighting system further comprises: a real lighting device for lighting the inside of the hall with real lighting light; and a virtual lighting device for generating virtual lighting light in the computer and displaying the virtual lighting light on the screen.
The shadow is generated by the computer in association with the character and illumination light irradiated to the character by the lighting devices.
The camera includes a camera capable of photographing the audience seat, and the computer includes the photographed footage of the audience seat and the sub character image (hereinafter referred to as the “spectator seating direction sub character image”) generated as the direction image of the camera To be displayed on the sub screen,
As an image of the audience seat displayed on the sub screen, an image of a past time T0-Δt delayed by a minute time Δt from an actual time T0 as a reference for displaying the main character image is used.
The event implementation method using an image of a past time T0-.DELTA.t delayed by a minute time .DELTA.t from the actual time T0 in the audience seat direction view sub character image.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017250184A JP7012287B2 (en) | 2017-12-26 | 2017-12-26 | Hall display system and how to implement events using it |
JP2022000651A JP2022058501A (en) | 2017-12-26 | 2022-01-05 | Hall display system and event execution method using the same |
JP2023144672A JP2023175742A (en) | 2017-12-26 | 2023-09-06 | Game machine |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017250184A JP7012287B2 (en) | 2017-12-26 | 2017-12-26 | Hall display system and how to implement events using it |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022000651A Division JP2022058501A (en) | 2017-12-26 | 2022-01-05 | Hall display system and event execution method using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019115408A true JP2019115408A (en) | 2019-07-18 |
JP7012287B2 JP7012287B2 (en) | 2022-01-28 |
Family
ID=67304814
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017250184A Active JP7012287B2 (en) | 2017-12-26 | 2017-12-26 | Hall display system and how to implement events using it |
JP2022000651A Pending JP2022058501A (en) | 2017-12-26 | 2022-01-05 | Hall display system and event execution method using the same |
JP2023144672A Pending JP2023175742A (en) | 2017-12-26 | 2023-09-06 | Game machine |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022000651A Pending JP2022058501A (en) | 2017-12-26 | 2022-01-05 | Hall display system and event execution method using the same |
JP2023144672A Pending JP2023175742A (en) | 2017-12-26 | 2023-09-06 | Game machine |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7012287B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951706A (en) * | 2020-07-01 | 2020-11-17 | 广州科技贸易职业学院 | 3D model rapid-construction device for clothing art design |
JP2022058501A (en) * | 2017-12-26 | 2022-04-12 | 株式会社ユークス | Hall display system and event execution method using the same |
WO2022091811A1 (en) * | 2020-10-29 | 2022-05-05 | ソニーグループ株式会社 | Image processing device, image processing method, and image processing system |
JP2022191667A (en) * | 2021-06-16 | 2022-12-28 | 株式会社ニューギン | game machine |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1049134A (en) * | 1996-07-12 | 1998-02-20 | Somuraa Kurisuta | Three-dimensional video key system |
JP2003533235A (en) * | 1999-07-26 | 2003-11-11 | ガイ・ジョナサン・ジェームズ・ラッカム | Virtual production device and method |
JP2008271237A (en) * | 2007-04-20 | 2008-11-06 | Sony Corp | Image processing apparatus, image processing method and image processing program, and reproduced image generating device, reproduced image generating method and reproduced image generating program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7012287B2 (en) * | 2017-12-26 | 2022-01-28 | 株式会社ユークス | Hall display system and how to implement events using it |
-
2017
- 2017-12-26 JP JP2017250184A patent/JP7012287B2/en active Active
-
2022
- 2022-01-05 JP JP2022000651A patent/JP2022058501A/en active Pending
-
2023
- 2023-09-06 JP JP2023144672A patent/JP2023175742A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1049134A (en) * | 1996-07-12 | 1998-02-20 | Somuraa Kurisuta | Three-dimensional video key system |
JP2003533235A (en) * | 1999-07-26 | 2003-11-11 | ガイ・ジョナサン・ジェームズ・ラッカム | Virtual production device and method |
JP2008271237A (en) * | 2007-04-20 | 2008-11-06 | Sony Corp | Image processing apparatus, image processing method and image processing program, and reproduced image generating device, reproduced image generating method and reproduced image generating program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022058501A (en) * | 2017-12-26 | 2022-04-12 | 株式会社ユークス | Hall display system and event execution method using the same |
CN111951706A (en) * | 2020-07-01 | 2020-11-17 | 广州科技贸易职业学院 | 3D model rapid-construction device for clothing art design |
WO2022091811A1 (en) * | 2020-10-29 | 2022-05-05 | ソニーグループ株式会社 | Image processing device, image processing method, and image processing system |
JP2022191667A (en) * | 2021-06-16 | 2022-12-28 | 株式会社ニューギン | game machine |
JP7371943B2 (en) | 2021-06-16 | 2023-10-31 | 株式会社ニューギン | gaming machine |
Also Published As
Publication number | Publication date |
---|---|
JP2022058501A (en) | 2022-04-12 |
JP7012287B2 (en) | 2022-01-28 |
JP2023175742A (en) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11675257B2 (en) | Communication stage and imaging systems | |
US10447967B2 (en) | Live teleporting system and apparatus | |
US5964064A (en) | Theater with multiple screen three dimensional film projection system | |
US6290359B1 (en) | Image forming apparatus and method for live performance | |
CN210021183U (en) | Immersive interactive panoramic holographic theater and performance system | |
US10156730B1 (en) | Accurate and balanced lighting in a Pepper's ghost projection system for live cinematic performances | |
JP2023175742A (en) | Game machine | |
US9219910B2 (en) | Volumetric display system blending two light types to provide a new display medium | |
KR20140010872A (en) | Multi-projection system for expanding a visual element of main image | |
JP2009521005A (en) | Projection apparatus and projection method | |
US20160266543A1 (en) | Three-dimensional image source for enhanced pepper's ghost illusion | |
US9989775B2 (en) | Dual-sided pepper's ghost illusion | |
US6341868B1 (en) | Image forming apparatus and method for live performances | |
JP2023130363A (en) | Display system for hall and method for executing event using the same | |
JP2006519627A (en) | Theater Hall Projection | |
US20240060613A1 (en) | Simulated Fireplace | |
BR122018073457B1 (en) | LARGE FORMAT EXHIBITION ROOM WITH SOCIAL MEDIA LINK |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20171228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7012287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |