JP2018025734A - 画像表示システムおよび画像表示プログラム - Google Patents

画像表示システムおよび画像表示プログラム Download PDF

Info

Publication number
JP2018025734A
JP2018025734A JP2016199219A JP2016199219A JP2018025734A JP 2018025734 A JP2018025734 A JP 2018025734A JP 2016199219 A JP2016199219 A JP 2016199219A JP 2016199219 A JP2016199219 A JP 2016199219A JP 2018025734 A JP2018025734 A JP 2018025734A
Authority
JP
Japan
Prior art keywords
image
image display
images
displayed
display state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016199219A
Other languages
English (en)
Other versions
JP6815156B2 (ja
Inventor
由希子 岡
Yukiko Oka
由希子 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2018025734A publication Critical patent/JP2018025734A/ja
Application granted granted Critical
Publication of JP6815156B2 publication Critical patent/JP6815156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】各人が楽しむことのできる画像表示システムおよび画像表示プログラムを提供する。【解決手段】画像表示システム100は、複数のカメラCAで撮像された複数の画像を取得し、取得した複数の画像から2つ以上の画像を画像表示端末200に送信し、画像表示端末200に2つ以上の画像を表示する第1表示状態と、第1表示状態で表示された2つ以上の画像から選択された画像を第1表示状態よりも大きく表示する第2表示状態と、を取り得る。【選択図】図1

Description

本発明は、画像表示システムおよび画像表示プログラムに関するものである。
近年、アーティストのライブコンサートの会場には、巨大なスクリーンが設置されており、このスクリーンにはアーティスト等が映し出されるようになっている。このスクリーンに映し出されている映像を観客に見せることで、肉眼では見えなかったり、物の影になって見えなかったりするアーティストの表情や演奏テクニック等を観客に堪能してもらうことができる。
しかしながら、スクリーンに映し出される映像が、その観客が見たい映像であるとは限らない。例えば、複数の人物(メンバー)で構成されるアイドルグループのライブであった場合、観客ごとにファンである人物が異なることから、仮に、スクリーンにある人物が単独で映し出されている場合には、その人物のファンである観客は楽しむことができるが、他の人物のファンである観客は楽しむことができない。
なお、例えば、特許文献1にライブコンサートを楽しむための望遠鏡一体型コンサートペンライトが開示されているが、このようなグッズによっても、上述のような問題を解消することができない。
特開2016−18776号公報
本発明の目的は、各人が楽しむことのできる画像表示システムおよび画像表示プログラムを提供することにある。
このような目的は、下記(1)〜(12)の本発明により達成される。
(1) 複数のカメラで撮像された複数の画像を取得し、取得した前記複数の画像から2つ以上の画像を画像表示端末に送信し、前記画像表示端末に2つ以上の前記画像を表示する第1表示状態と、前記第1表示状態で表示された2つ以上の前記画像から選択された前記画像を表示する第2表示状態と、を取り得ることを特徴とする画像表示システム。
(2) 2つ以上の前記画像を含むマルチ画像を生成し、前記マルチ画像を前記画像表示端末に送信する上記(1)に記載の画像表示システム。
(3) 前記画像表示端末は、受信した前記マルチ画像を各前記画像に分割し、分割した各前記画像を前記第1表示状態において表示する上記(2)に記載の画像表示システム。
(4) 前記第1表示状態では、2つ以上の前記画像のうちの少なくとも1つの画像をメイン画像とすると共に残りの前記画像をサブ画像とし、前記メイン画像を前記サブ画像よりも大きく表示する上記(1)ないし(3)のいずれかに記載の画像表示システム。
(5) 前記第1表示状態では、前記メイン画像と前記サブ画像とを切り替え可能である上記(4)に記載の画像表示システム。
(6) 前記第2表示状態で表示される前記画像は、前記第1表示状態で前記メイン画像として表示される画像である上記(1)ないし(5)のいずれかに記載の画像表示システム。
(7) 前記第2表示状態で表示される前記画像は、前記第1表示状態で表示される前記メイン画像よりも大きい上記(6)に記載の画像表示システム。
(8) 複数の前記画像表示端末から前記第2表示状態で表示されている前記画像を集計する上記(1)ないし(7)のいずれかに記載の画像表示システム。
(9) 前記集計結果を利用して、前記第1表示状態で表示する前記画像を変更する上記(8)に記載の画像表示システム。
(10) 前記複数のカメラで撮像された複数の画像を取得する画像取得部と、
前記画像取得部が取得した前記複数の画像から前記第1表示状態で表示するための画像信号を生成する画像生成部と、
前記画像生成部で生成した画像信号を前記画像表示端末に送信する送信部と、を有している上記(1)ないし(9)のいずれかに記載の画像表示システム。
(11) 前記画像表示端末を用いた付加機能を有している上記(1)ないし(10)のいずれかに記載の画像表示システム。
(12) 異なるカメラで撮像された2つ以上の画像を画像表示端末に表示させる第1表示状態と、前記第1表示状態で表示された2つ以上の画像から選択された前記画像を前記画像表示端末に表示させる第2表示状態と、を取り得ることができることを特徴とする画像表示プログラム。
本発明によれば、画像表示端末を有する各人が、第1表示状態で映し出された複数の画像から自分の見たい画像を選択して映し出すとこができるため、各人が楽しむことのできる画像表示システム、画像表示端末および画像表示プログラムを提供することができる。
本発明の好適な実施形態に係る画像表示システムの構成図である。 図1に示す画像生成部で生成される画像信号のイメージ図である。 画像表示端末の画面を示すイメージ図である。 図2に示す画像信号を分割する方法を説明するための図である。 図2に示す画像信号を分割する方法を説明するための図である。 画像表示端末の画面を示すイメージ図である。 画像表示端末の画面を示すイメージ図である。 画像表示端末の画面を示すイメージ図である。 画像表示端末の画面を示すイメージ図である。 図1に示す画像表示システムの変形例を示す構成図である。 集計部に記憶されるデータを示すイメージ図である。
以下、本発明の画像表示システムおよび画像表示プログラムを添付図面に示す好適な実施形態に基づいて詳細に説明する。
図1は、本発明の好適な実施形態に係る画像表示システムの構成図である。図2は、図1に示す画像生成部で生成される画像信号のイメージ図である。図3は、画像表示端末の画面を示すイメージ図である。図4および図5は、それぞれ、図2に示す画像信号を分割する方法を説明するための図である。図6ないし図9は、それぞれ、画像表示端末の画面を示すイメージ図である。図10は、図1に示す画像表示システムの変形例を示す構成図である。図11は、集計部に記憶されるデータを示すイメージ図である。
以下では、本発明の画像表示システムおよび画像表示プログラムについて、2人のメンバーA、BからなるアイドルグループX(アーティスト)のライブコンサートを例に挙げて説明する。ただし、画像表示システム、画像表示端末および画像表示プログラムを用いる環境としては、ライブコンサート、クラシックコンサート、フィルムコンサート等の各種コンサートに限定されず、例えば、オペラ、ミュージカル、歌舞伎等の演劇、サーカス、野球、サッカー、ラグビー、競馬、陸上、ゴルフ、バスケットボール、相撲、柔道、体操、フィギュアスケート、モータースポーツ、ボクシング等の格闘技等の各種スポーツ(屋内、屋外を問わない。)の試合、モーターショー、ゲームショー、医療機器、産業機器等の展示会等の各種イベント等であってもよい。
まず、コンサートホールの設備について簡単に説明すると、コンサートホールにはアイドルグループXが登るステージと、アイドルグループXを様々な角度から撮影(撮像)する複数のカメラCAと、大型スクリーンと、が設置されている。複数のカメラCAで撮影された画像は、例えば、前記大型スクリーンに映し出されたり、他の会場へのライブ中継に用いられたり、後に放映されるテレビプログラムに用いられたり、後に発売するDVD、BD(Blu−ray(登録商標) Disc)等の記録メディアの制作に用いられたりする。なお、大型スクリーンには複数のカメラから得られた画像の中から担当者が選択した画像が映し出されるようになっている。そのため、各観客からしてみれば、前記大型スクリーンに自分が見たい画像(例えば、自分のファンであるメンバーの画像)が映し出されるとは限らない。以上のような構成は、従来からある一般的なライブコンサートのシステムであり、本発明の画像表示システムおよび画像表示プログラムの優れている所は、このような従来からある一般的なライブコンサートのシステムに簡単に組み込むことができる点にある。
以下、このような本発明の画像表示システムおよび画像表示プログラムについて詳細に説明する。なお、本明細書中の「画像」は、動画(映像)および静止画の両者を含んでおり、どちらであってもよい。
画像表示システム100は、簡単に言えば、観客が使用する画像表示端末200を用いて、画像表示端末200にそれを使用する観客一人ひとりに合った画像をリアルタイムで配信するシステムである。このような画像表示システム100によれば、例えば、席がステージから遠くてアイドルグループXがよく見えない場合や、前の席の観客の背が高くてアイドルグループXがよく見えない場合等でも、画像表示端末200によってアイドルグループXを観賞することができる。また、例えば、肉眼では確認できないような、メンバーA、Bの表情や、演奏テクニック(例えば、ギター演奏の手元)を観賞することもできる。そのため、観客にライブコンサートを楽しんでもらうことができる。
なお、画像表示端末200としては、配信される画像を受信、表示できれば特に限定されず、例えば、スマートフォン、タブレット端末、ノートパソコン、観客の頭部に装着するヘッドマウントディスレイ、観客の眼球に装着するコンタクトレンズ型の表示装置、フィルム型の表示装置、例えば時計のように腕に装着するウェアラブル端末、観客の前(例えば、前方の席の背もたれの背面)に設置された備え付けのモニター、3Dホログラム等を用いることができる。
また、画像表示端末200は、観客個人が所有する端末を用いてもよいし、ライブコンサートの主催者(関係者を含む)が提供(貸与、譲渡)する端末であってもよいが、後者であることが好ましい。なお、本実施形態では、画像表示端末200として後者を用いる場合について代表して説明する。画像表示端末200としてライブコンサートの主催者が提供する端末を用いることで、当該端末に専用のプログラムを組み込むことができ(すなわち、ライブコンサート専用の端末とすることができ)、例えば、著作権法上の問題(例えば、不正録画(スクリーンショット等の静止画の保存を含む)、不正配信等の防止)を容易に解決することができる。
なお、ライブコンサートの主催者が観客に画像表示端末200を貸与する場合、ライブコンサート開始前に会場にて希望する観客に画像表示端末200を貸与し、ライブコンサート終了後に会場にて画像表示端末200を返却してもらえばよいが、貸与時に補償金を預かり、返却時に補償金を返却するといった方法をとるのが好ましい。このような方法によれば、例えば、観客が画像表示端末200を返却せずにそのまま持ち帰ってしまうといった弊害を抑制することができる。
また、画像表示端末200としては、観客が装着して用いるウェアラブル端末であることが好ましい。ウェアラブル端末を用いることで、画像表示端末200を手に持つ煩わしさを解消できると共に、画像表示端末200の紛失、落下による損傷等を防止することができる。さらには、ウェアラブル端末の中でも、腕に装着するものが好ましい。これにより、画像表示端末200に表示された画像を確認し易くなると共に、画像表示端末200の操作がし易くなる。
以上、画像表示端末200について説明した。このような画像表示端末200を用いて実施される画像表示システム100は、複数のカメラCAで撮像された複数の画像を取得し、取得した複数の画像から2つ以上の画像を画像表示端末200に送信(配信)し、画像表示端末200に2つ以上の画像を表示する第1表示状態(マルチ画像表示状態)と、第1表示状態で表示された2つ以上の画像から選択された画像を表示する第2表示状態(選択画像表示状態)と、を取り得ることができるように構成されている。
具体的には、画像表示システム100は、図1に示すように、複数のカメラCAからの画像(ライブ映像)を取得する画像取得部110と、画像取得部110が取得した複数のカメラCAからの複数の画像からマルチ画像信号を生成する画像生成部120と、画像生成部120で生成したマルチ画像信号をストリーミング配信(送信)する配信部130(送信部)と、ネットワーク140と、を有している。
画像取得部110は、複数のカメラCAからの画像を取得する。なお、画像取得部110が取得する画像の数としては、複数であれば限定されず、ライブコンサートの規模、アーティストのメンバー数等によって適宜設定することができる。また、画像取得部110は、設置された全てのカメラCAから画像を取得してもよいし、選択した一部のカメラCAから画像を取得してもよい。また、選択した一部のカメラCAから画像を取得する場合、カメラCAの選択をライブコンサート中に自由に変更できるようになっていてもよい。
画像生成部120は、画像取得部110が取得した複数のカメラCAからの複数の画像からマルチ画像MS(マルチ画像の画像信号)を生成する。すなわち、マルチ画像MSは、1つの画像に複数のカメラCAの画像を含んでいる。また、マルチ画像MSに含まれる複数の画像は、互いに同期がとられている。すなわち、マルチ画像MSには、実質的に同時刻の複数の画像が含まれている。
このようなマルチ画像MSは、例えば、図2に示すような画像信号とすることができる。図2に示すマルチ画像MSは、縦×横=2×4に分割された計8つの画像領域S1〜S8を有し、画像領域S1〜S8には、画像P1〜P8が表示されるようになっている。そして、画像P1〜P8には、それぞれ、画像取得部110が取得した画像のいずれかが表示される。例えば、画像取得部110が8台のカメラCAから画像を取得している場合には、これら全ての画像が画像P1〜P8として画像領域S1〜S8に表示される。これに対して、画像取得部110が9台以上のカメラCAから画像を取得している場合には、これら画像のうちから選択された8つの画像が画像P1〜P8として画像領域S1〜S8に表示される。なお、画像領域S1〜S8には、それぞれ、別の画像を選択するのが好ましいが、画像領域S1〜S8の少なくとも2つの領域で同じ画像を選択してもよい。
なお、マルチ画像MSに含まれる画像領域の数としては、特に限定されず、2〜7つであってもよしい、9つ以上であってもよい。
配信部130は、画像生成部120で生成したマルチ画像MS(ライブ映像)をライブストリーミング用にエンコードし、ネットワーク140を介して画像表示端末200にストリーミング配信する。なお、ネットワーク140としては、特に限定されず、無線、有線を問わない。ただし、例えば、Wi−Fi(登録商標)等の無線LANを用いることが好ましい。また、ライブコンサート会場に常設されているネットワークであってもよいし、ライブコンサートの主催者が設置したネットワークであってもよい。
このように、画像P1〜P8が含まれるマルチ画像MS(ライブ映像)を画像表示端末200に配信することで、例えば、複数のカメラCAから取得した画像をそれぞれ画像表示端末200に配信する場合と比較して、通信データ容量を抑えることができる。そのため、よりスムーズでかつ安定した配信が可能となる。
画像表示端末200は、配信部130からのストリーミング配信を受信し、受信したマルチ画像MSに基づいてライブストリーミング再生し、マルチ画像Mを表示する。この状態を第1表示状態(マルチ画像表示状態)とも言う。ここで、マルチ画像Mとしては特に限定されないが、例えば、図3に示すように、画面210が9つの画像領域SS1〜SS9に分割されており、そのうちの1つの画像領域SS1をメイン画像とし、他の8つの画像領域SS2〜SS9をサブ画像とする構成とすることができる。そして、サブ画像である画像領域SS2〜SS9には、受信したマルチ画像MSに含まれる画像P1〜P8が表示され、メイン画像となる画像領域SS1には、画像P1〜P8の中から選択された1つの画像(図3では、画像P1)が表示される。すなわち、画像表示端末200は、受信したマルチ画像MS(1つの画像にまとめられた画像P1〜P8)を画像P1〜P8毎に分割し、分割したそれぞれの画像P1〜P8を画像領域SS1〜SS9に表示する。
ここで、画像領域SS1〜SS9に表示される画像を違和感なく観賞するためには、画像領域SS1〜SS9に表示される画像が互いに同期されていることが重要である。この点において、マルチ画像MSに含まれる画像P1〜P8は、互いに同期がとられているため、上述のような、マルチ画像MSを分割して画像領域SS1〜SS9に画像P1〜P8を表示する方法によれば、画像表示端末200側で画像P1〜P8の同期をとる必要がない。そのため、画像表示端末200側に、画像を同期させるためのプログラムが不要となり、より簡単に、同期のとれた画像P1〜P8を、画像領域SS1〜SS9に表示することができる。
また、サブ画像である画像領域SS2〜SS9は、互いに同じ大きさで表示され、メイン画像である画像領域SS1は、サブ画像である画像領域SS2〜SS9よりも大きく表示されている。このように、メイン画像を大きく表示することで、メイン画像が視認され易くなる。言い換えると、サブ画像を小さくすることで、メイン画像をより大きく表示することができる。
なお、受信したマルチ画像MS(1つの画像にまとめられた画像P1〜P8)を9つの画像領域SS1〜SS9に分割して表示する方法としては、特に限定されないが、例えば、以下のような方法が挙げられる。1つの方法として、画素に基づく方法が挙げられる。例えば、画像表示端末200は、マルチ画像MSのうちのどの画素領域(画素の集合体)で画像P1〜P8がそれぞれ構成されているかの情報を有する。より具体的には、画像表示端末200は、例えば、図4に示すように、マルチ画像MSが18行×64列に並ぶ画素を有し、1〜9行×1〜16列の画素領域で画像P1が構成され、1〜9行×17〜32列の画素領域で画像P2が構成され、1〜9行×33〜48列の画素領域で画像P3が構成され、1〜9行×49〜64列の画素領域で画像P4が構成され、10〜18行×1〜16列の画素領域で画像P5が構成され、10〜18行×17〜32列の画素領域で画像P6が構成され、10〜18行×33〜48列の画素領域で画像P7が構成され、10〜18行×49〜64列の画素領域で画像P8が構成されているとする情報を有する。そして、画像表示端末200は、この情報に基づいて、受信したマルチ画像MSを画像P1〜P8に分割し、分割した画像を9つの画像領域SS1〜SS9に表示する。このような方法によれば、比較的簡単に、受信したマルチ画像MSを9つの画像領域SS1〜SS9に分割して表示することができる。なお、上述の情報は、画像表示端末200が予め有していてもよいし、マルチ画像MSと共に受信してもよい。
また、別の方法として、例えば、図5に示すように、マルチ画像MSに各画像P1〜P8を区切る枠BMを設定しておき、画像表示端末200は、この枠BMを認識することで、受信したマルチ画像MSを画像P1〜P8に分割し、分割した画像を9つの画像領域SS1〜SS9に表示する。このような方法によっても、比較的簡単に、受信したマルチ画像MSを9つの画像領域SS1〜SS9に分割して表示することができる。
画像表示端末200は、上記のような処理が可能なように、例えば、マルチ画像MSを受信する受信部と、受信部が受信したマルチ画像を上述のような方法で分割する分割部と、分割部で分割された画像を対応する画像領域SS1〜SS9に表示する表示部と、を有している。ただし、画像表示端末200の構成としては、マルチ画像MSを分割して表示することができれば、特に限定されない。
また、画像表示端末200では、メイン画像とサブ画像とを切り替えることが可能である。すなわち、例えば図6に示すように、メイン画像として画像P1が表示されている状態から、メイン画像として画像P8が表示されている状態へ切り替えることができる。このような構成とすることで、それまでサブ画像であった映像を大きいメイン画像として視認できるため、サブ画像をより簡単かつ鮮明に視認することができる。
メイン画像とサブ画像とを切り替える方法としては特に限定されず、画像表示端末200の構造によっても異なる。例えば、図6に示すように、指Fによるタッチ入力が可能な場合にはタッチ入力(例えば、メイン画像としたいサブ画像をタップする方法や、メイン画像としたいサブ画像を画像領域SS1にドラッグする方法等)により切り替えることができる。また、例えば、画像表示端末200が加速度や角速度を検出可能な構成である場合には物理的な入力(振動を与える、向きを変える等)により切り替えることができる。また、画像表示端末200に物理キーが設けられている場合には物理キーを操作することにより切り替えることができる。
このようなマルチ画像Mの変形例として、例えば、図7および図8に示す構成が挙げられる。図7に示すマルチ画像Mは、メイン画像となる画像領域SS1が図3に示す構成よりも大きく配置されており、この画像領域SS1に重なるようにしてサブ画像となる画像領域SS2〜SS9が配置されている。一方、図8に示すマルチ画像Mは、メイン画像となる画像領域SS1が画面の最も手前側に位置しており、この画像領域SS1の奥側に重なるようにサブ画像となる画像領域SS2〜SS9が配置されている。この場合は、例えば、画面210を横側にスクロールすることで、メイン画像を切り替えることができる。
さらに、画像表示端末200は、第1表示状態(マルチ画像表示状態)で表示された複数の画像P1〜P8から選択された画像を全画面表示する。この状態を第2表示状態(選択画像表示状態)とも言う。ここで、図9に示すように、第2表示状態で表示される画像は、第1表示状態で直前にメイン画像として表示されていた画像(図9では画像P1)であり、第2表示状態で表示される画像は、第1表示状態で表示されるメイン画像よりも大きい。また、第2表示状態では、選択された画像(メイン画像)以外の画像(サブ画像)は表示されない。このような構成によれば、第2表示状態においてメイン画像をさらに大きく拡大して表示することができ、サブ画像も表示されないため、メイン画像をさらに視認し易くなる(メイン画像のみに没入することができる)。
第1表示状態から第2表示状態への切り替え方法としては特に限定されず、画像表示端末200の構造によっても異なる。例えば、画面210へのタッチ入力が可能な場合には、タッチ入力(例えば、メイン画像をダブルタップ、ロングタップする方法)により切り替えることができる。また、例えば、画像表示端末200が加速度や角速度を検出可能な構成である場合には、物理的な入力(振動を与える、向きを変える等)により切り替えることができる。また、画像表示端末200に物理キーが設けられている場合には、物理キーを操作することにより切り替えることができる。また、第1表示状態から第2表示状態への切り替えや第2表示状態から第1表示状態への切り替えは、何度でも行うことができる。
さらに、第2表示状態では、表示された画像を拡大することができる。画像を拡大する方法としては特に限定されず、画像表示端末200の構造によっても異なる。例えば、画面210へのタッチ入力が可能な場合には、タッチ入力(例えば、ピンチアウト、ピンチイン)により拡大縮小を行うことができる。また、例えば、画像表示端末200が加速度や角速度を検出可能な構成である場合には、物理的な入力(振動を与える、向きを変える等)により拡大縮小を行うことができる。また、画像表示端末200に物理キーが設けられている場合には、物理キーを操作することにより拡大縮小を行うことができる。
なお、本実施形態では第2表示状態において、メイン画像が画面全域にわたって表示されているが、第2表示状態での画像の大きさは、第1表示状態でのメイン画像の大きさよりも大きければ特に限定されない。また、本実施形態では第2表示状態において、第1表示状態でのメイン画像が拡大表示される構成について説明したが、第2表示状態において拡大表示される画像としては、これに限定されず、サブ画像であってもよい。また、第2表示状態において拡大表示される画像としては1つに限定されず、例えば、2つの画像を拡大表示できるようになっていてもよい。
以上、第1表示状態および第2表示状態について説明したが、これらの各状態で表示される画像には音声が含まれていてもよいし、音声が含まれていなくてもよい。ただし、音声が含まれていないことが好ましい。これにより、雑音が抑えられ、会場に響く生音を楽しむことができる。
また、画像表示端末200は、例えば、第1、第2表示状態以外にも、例えば、ライブコンサートのセットリストを確認できる第3表示状態に切り替えることができるようになっていてもよい。これにより、観客は、ライブコンサートで歌われる曲およびその順番を容易に確認することができる。さらには、このセットリストに含まれている曲(例えば、曲単体、その曲が含まれているシングルCD、その曲が含まれているアルバムCD等)を、画像表示端末200を用いてその場で購入(所謂「ネット購入」)できるようになっていてもよい。このような機能を有することで、ライブコンサートの高揚感によって、販売促進に寄与することが期待される。また、観客が知らない曲の場合、その場で購入できることで、後日にその曲を思い出すことができずに購入することができなくなることを防止することもできる。なお、第3表示状態で表示されるセットリストは、現在歌われている曲および既に歌われた曲に限定され、これから歌われる曲については表示されないことが好ましい。これにより、後に歌われる曲が観客に知られてしまうことを防止することができる。
以上、画像表示システム100の基本構成について説明した。次に、画像表示システム100の具体的な使用例を上述したアイドルグループXのライブコンサートの例を挙げて説明する。
例えば、ある画像表示端末200を使用している観客がアイドルグループXのメンバーAのファンであったとする。このような場合、当該観客は、第1表示状態の画面210を確認し、複数の画像からメンバーAが映っている画像を選択することで、メイン画面にメンバーAが映っている画像を表示することができ、第2表示状態としてこの画像を拡大表示することもできる。そのため、ライブコンサートを肉眼で観賞しながら、これに加えてさらに画像表示端末200で画像を観賞することで、ライブコンサートをより楽しむことができる。
また、例えば、大勢の観客の中には、どの歌のどのタイミングでどのメンバーがどのようなポーズを決めるといったことを熟知しており、そのポーズを絶対に見たいと思っている観客もいる。このような場合は、そのタイミングに合わせて、ポーズを決めるメンバーが最も良いアングルで映っている画像を選択し、全画面表示にしておくことで、画像表示端末200を通してそのポーズを鮮明に観賞することができる。このように、観客自身の希望に合わせて画像を切り替えられる機能を「選択機能」とも言う。
ここで、メンバーAのファンである観客用の画像表示端末200Aと、メンバーBのファンである観客用の画像表示端末200Bと、を区別し、画像表示端末200Aには主にメンバーAが映っている画像をストリーミング配信し、画像表示端末200Bには主にメンバーBが映っている画像をストリーミング配信するようにしてもよい。すなわち、複数の画像表示端末200に、その使用者の属性に合わせて異なる画像をストリーミング配信してもよい。このような構成によれば、ファンであるメンバーを追跡するように画像表示端末200に画像が表示されるため(各観客のニーズに合った画像を配信することができるため)、観客は、ますますライブコンサートを楽しむことができる。このように、特定のメンバーを追跡する画像が画像表示端末200に表示される機能を「追跡機能」とも言う。
このような構成の場合、図10に示すように、画像生成部120は、画像取得部110が取得した複数の画像からメンバーAが映っている画像を選択して画像表示端末200A用のマルチ画像MSを生成するメンバーA用生成部121と、画像取得部110が取得した複数の画像からメンバーBが映っている画像を選択して画像表示端末200B用のマルチ画像MSを生成するメンバーB用生成部122と、を有している。また、配信部130は、メンバーA用生成部121で生成したマルチ画像MSを1つの画像としてライブストリーミング用にエンコードし、ネットワーク140を介して画像表示端末200Aにストリーミング配信するメンバーA用配信部131と、メンバーB用生成部122で生成したマルチ画像MSを1つの画像としてライブストリーミング用にエンコードし、ネットワーク140を介して画像表示端末200Bにストリーミング配信するメンバーB用配信部132と、を有している。
なお、上記の説明では、初めから設定の異なる画像表示端末200(200A、200B)を用いることで、メンバーAのファンであるかメンバーBのファンであるかを区別しているが、同じ設定の画像表示端末200を用いて、各観客がファンであるメンバーを画像表示端末200に入力(選択)するようになっていてもよい。
以上、画像表示システム100の具体的な使用例の一例を説明した。このような画像表示システム100によれば、各人が楽しむことのできるライブコンサート等を開催することができる。特に、本実施形態では、「選択機能」と「追跡機能」とを兼ね備えているため、各人がより一層楽しむことのできるライブコンサート等を開催することができる。
次に、画像表示システム100の更なる機能について説明する。上述の機能は、観客側のための機能であったが、以下に述べる機能は、どちらかというと主催者側のための機能であると言える。
第1に、画像表示システム100は、集計機能を有している。具体的には、画像表示システム100は、複数の画像表示端末200において、第2表示状態でどの画像が表示されているかをリアルタイムで集計し、記憶する集計部150を有している。第2表示状態でどの画像が表示されているかは、例えば、各画像表示端末200から送信される信号により特定することができる。集計部150には、例えば、図11に示すように、複数の画像表示端末200において、第2表示状態でどの画像が表示されているかが時刻と共にリアルタイムに記憶される。集計部150に記憶されたデータは、次のように利用することができる。
例えば、第2表示状態で多く表示されている画像は、より人気の高い画像であると推測することができるため、第2表示状態で最も多く表示されている画像(以下、「人気画像」とも言う)を第1表示状態で表示するマルチ画像のメイン画像とする。このように、より人気の高い画像をメイン画像とすることで、当該画像を観客が発見し易くなり、よりニーズに合った画像を効果的に観客に提供することができる。なお、人気画像をメイン画像に切り替えるタイミングとしては、特に限定されないが、例えば、第2表示状態から第1表示状態へ切り替わった際、第1表示状態でのメイン画面の選択が所定時間以上経過しても実施されなかった際とすることができる。
また、例えば人気画像をスクリーンに表示する等、スクリーンに表示する画像の選択に、集計部150で集計されたデータを用いることもできる。また、例えば、チケットを購入できなかったり、遠方に暮らしていてライブコンサートに参加できなかったりする人のために、近年では、映画館で生中継を行う企画等が行われている。このようなイベントにおいて、スクリーンに映し出す映像の選択に、集計部150で集計されたデータを用いることもできる。
また、集計部150で集計したデータは、後日、ライブコンサートの様子を収録したDVD、BD等の記録メディア(ダウンロード型のプログラムを含む)を制作する際の参考とすることができる。例えば、人気画像を多く使うことで、より購買者のニーズに合った記録メディアを制作することができる。
以上、画像表示システム100の集計機能について説明した。なお、上述の集計は、全ての画像表示端末200から集計してもよいし、任意に選択した一部の画像表示端末200から集計してもよい。また、一部の画像表示端末200から集計する場合には、画像表示端末200をランダムに選択してもよいし、ある程度の規則性を持って選択してもよい。例えば、会場全体にわたってなるべく均一に散らばるように画像表示端末200を選択してもよいし、年齢や性別が偏らないように選択してもよい。これにより、偏ったデータの集計が防止される。
第2に、画像表示システム100は、コマーシャル機能を有している。具体的には、図3に示すように、画像表示システム100は、画像表示端末200においてライブ映像の他に、ライブ映像以外の画像P10を表示することができる。なお、画像P10としては、特に限定されず、例えば、画像表示端末200の使用方法、協賛企業のCM(コマーシャルメッセージ)、過去のライブDVDの紹介、会場の最寄り駅までの道案内、帰路につく際の交通手段の混雑状況等が挙げられる。また、例えば、画像P10で紹介された商品を、画像表示端末200を用いてその場で購入(所謂ネット購入)できるようになっていてもよい。なお、画像P10は、第2表示状態では、表示しないことが好ましい。
第3に、画像表示システム100は、課金機能を有している。具体的には、例えば、定められた金額を支払えば、画像表示端末200に表示される画像の全部または一部を録画することができ、記憶したデータを例えば自分のスマートフォン等に転送し保存できる機能が挙げられる。ただし、このような機能は、著作権法の各種問題を解決していることを前提に提供される。
第4に、画像表示システム100は、観客をライブに参加させる参加機能を有している。これにより、主催者側は、マーケティングデータを蓄積することができ、そのマーケティングデータを今後の活動に有効に活用することができる。また、観客のライブコンサートへの参加意識を高めることができ、各観客がライブコンサートをより楽しむことができると共に、コンサート会場の一体感が増し、よりよいライブコンサートとなる。
このような参加機能としては、例えは、アンケート機能が挙げられる。これは、画像表示端末200を用いて観客にアンケートに回答してもらう機能である。これにより、主催者側は、より有効なマーケティングデータを蓄積することができる。なお、アンケートの回収率を高めるために、例えば、画像表示端末200は、アンケート回答後にライブコンサートの画像を観賞できるように構成されていてもよい。アンケート内容については特に限定されず、イベントの内容によっても異なるが、本実施形態の例では、例えば、年齢、性別、出身地、現住所等のデモグラフィック情報や、ライブコンサートへの参加頻度、ファンであるメンバーの名前等の嗜好性情報が挙げられる。これら情報の集計結果は、例えば、グラフ化(例えば、円グラフ化、棒グラフ化)されて会場内のスクリーンに映し出されてもよい。また、例えば、ライブコンサート終了後に、画像表示端末200を用いてライブコンサートの感想等をアンケート形式で回収できるようになっていてもよい。
また、参加機能としては、例えば、投票機能が挙げられる。これは、画像表示端末200を用いて観客に投票してもらう機能である。これにより、主催者側は、より有効なマーケティングデータを蓄積することができる。投票内容については特に限定されず、イベントの内容によっても異なるが、本実施形態の例では、アンコールで歌って欲しい曲、曲のテースト(オリジナルバージョン、アコースティックバージョン、クラシックバージョン等)、やって欲しい余興等が挙げられる。例えば、予め選択されている複数の曲のうちからアンコールで歌って欲しい曲を投票し、投票数が最も多かった曲が実際にアンコールで歌われることで、より会場を盛り上げることができる。
また、参加機能としては、例えば、抽選機能が挙げられる。これは、特定の画像表示端末200を使用している観客に景品等がプレゼントされる機能である。このような機能によれば、より会場を盛り上げることができる。プレゼントとしては特に限定されず、例えば、ライブのオリジナルグッズやメンバーのサイン入りグッズ等が挙げられる。
また、参加機能としては、例えば、メッセージ送信機能が挙げられる。これは、観客が画像表示端末200を用いてメッセージを送信することができる機能である。例えば、画像表示端末200を用いて送信されたメッセージをスクリーンに映し出し、そのメッセージに対してアイドルグループXのメンバーA、Bが回答するといった形式をとることで、アイドルグループXと観客との間で会話が成立し、ライブコンサートをより盛り上げることができる。
また、参加機能としては、例えば、ゲーム機能が挙げられる。これは、画像表示端末200を用いて観客がゲームに参加できる機能である。これにより、ライブコンサートをより盛り上げることができる。なお、ゲームとしては特に限定されず、ビンゴゲーム、アイドルグループXとのじゃんけんゲーム、クイズ(特に、アイドルグループXに関するクイズ)等が挙げられる。
第5に、画像表示システム100は、ポイント加算機能を有している。これは、特定のライブコンサートに参加する度にポイントが加算され、取得したポイント数に応じて種々の景品と交換できる機能である。このようなポイントシステムを採用することで、観客をより満足させることができる。なお、ポイント加算の仕組みとしては特に限定されず、例えば、画像表示端末200を装着してライブコンサート内に入れば自動的にポイントが加算される仕組みとなっていてもよいし、ライブコンサート内の特定の場所に設置された専用機器に画像表示端末200を翳すとポイントが加算される仕組みとなっていてもよい。
第6に、画像表示システム100は、通報機能を有している。これは、例えば、観客が体調を崩した際に、画像表示端末200を用いて主催者側へ通報できる機能である。これにより、体調を崩した観客をより迅速に介抱することができる。
以上、集計機能、コマーシャル機能、課金機能、参加機能、ポイント加算機能、通報機能について説明したが、これらを総称して「付加機能」と言う。このような付加機能を有することで、より楽しめるライブコンサートを提供することができる。なお、付加機能としては、上述した機能に限定されず、他の機能を有していていてもよい。
以上、画像表示システム100について説明した。なお、上記の説明では、画像表示端末200としてライブコンサートの主催者(関係者を含む)が貸与する端末を用いているが、画像表示端末200として観客個人が所有する端末(例えば、スマートフォン)を用いてもよい。この場合、観客個人が自分の端末に専用のソフトウェアをダウンロードすることで、自分の端末を画像表示端末200として使用できるようになる。この際にダウンロードするソフトウェアが、本発明の画像表示プログラムである。本発明の画像表示プログラムは、異なるカメラCAで撮像された2つ以上の画像を画像表示端末200に表示させる前述した第1表示状態と、第1表示状態で表示された2つ以上の画像から選択された画像を画像表示端末200に表示させる前述した第2表示状態と、を取り得ることができる。このようなプログラムを端末にダウンロードすることで、その端末を上述した専用の画像表示端末200と同様に使用することができるようになる。なお、この画像表示プログラムには著作権法上の問題を解決する機能が付随していることが好ましい。この機能としては、例えば、本プログラムを実行中は、その端末が有する他のプログラム(特に、撮影、録画、録音、配信等に関するプログラム)の実行を禁止する機能が挙げられる。
以上、本発明の画像表示システムおよび画像表示プログラムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。また、各実施形態を適宜組み合わせてもよい。
100 画像表示システム
110 画像取得部
120 画像生成部
121 メンバーA用生成部
122 メンバーB用生成部
130 配信部
131 メンバーA用配信部
132 メンバーB用配信部
140 ネットワーク
150 集計部
200 画像表示端末
200A 画像表示端末
200B 画像表示端末
210 画面
CA カメラ
F 指
M マルチ画像
MS マルチ画像
P1〜P8、P10 画像
S1〜S8 画像領域
SS1〜SS9 画像領域

Claims (12)

  1. 複数のカメラで撮像された複数の画像を取得し、取得した前記複数の画像から2つ以上の画像を画像表示端末に送信し、前記画像表示端末に2つ以上の前記画像を表示する第1表示状態と、前記第1表示状態で表示された2つ以上の前記画像から選択された前記画像を表示する第2表示状態と、を取り得ることを特徴とする画像表示システム。
  2. 2つ以上の前記画像を含むマルチ画像を生成し、前記マルチ画像を前記画像表示端末に送信する請求項1に記載の画像表示システム。
  3. 前記画像表示端末は、受信した前記マルチ画像を各前記画像に分割し、分割した各前記画像を前記第1表示状態において表示する請求項2に記載の画像表示システム。
  4. 前記第1表示状態では、2つ以上の前記画像のうちの少なくとも1つの画像をメイン画像とすると共に残りの前記画像をサブ画像とし、前記メイン画像を前記サブ画像よりも大きく表示する請求項1ないし3のいずれか1項に記載の画像表示システム。
  5. 前記第1表示状態では、前記メイン画像と前記サブ画像とを切り替え可能である請求項4に記載の画像表示システム。
  6. 前記第2表示状態で表示される前記画像は、前記第1表示状態で前記メイン画像として表示される画像である請求項1ないし5のいずれか1項に記載の画像表示システム。
  7. 前記第2表示状態で表示される前記画像は、前記第1表示状態で表示される前記メイン画像よりも大きい請求項6に記載の画像表示システム。
  8. 複数の前記画像表示端末から前記第2表示状態で表示されている前記画像を集計する請求項1ないし7のいずれか1項に記載の画像表示システム。
  9. 前記集計結果を利用して、前記第1表示状態で表示する前記画像を変更する請求項8に記載の画像表示システム。
  10. 前記複数のカメラで撮像された複数の画像を取得する画像取得部と、
    前記画像取得部が取得した前記複数の画像から前記第1表示状態で表示するための画像信号を生成する画像生成部と、
    前記画像生成部で生成した画像信号を前記画像表示端末に送信する送信部と、を有している請求項1ないし9のいずれか1項に記載の画像表示システム。
  11. 前記画像表示端末を用いた付加機能を有している請求項1ないし10のいずれか1項に記載の画像表示システム。
  12. 異なるカメラで撮像された2つ以上の画像を画像表示端末に表示させる第1表示状態と、前記第1表示状態で表示された2つ以上の画像から選択された前記画像を前記画像表示端末に表示させる第2表示状態と、を取り得ることができることを特徴とする画像表示プログラム。
JP2016199219A 2016-08-03 2016-10-07 画像表示システムおよび画像表示プログラム Active JP6815156B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016152685 2016-08-03
JP2016152685 2016-08-03

Publications (2)

Publication Number Publication Date
JP2018025734A true JP2018025734A (ja) 2018-02-15
JP6815156B2 JP6815156B2 (ja) 2021-01-20

Family

ID=61195022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016199219A Active JP6815156B2 (ja) 2016-08-03 2016-10-07 画像表示システムおよび画像表示プログラム

Country Status (1)

Country Link
JP (1) JP6815156B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107729A (ja) * 2016-12-27 2018-07-05 由希子 岡 接続デバイスおよび画像表示システム
WO2019229926A1 (ja) * 2018-05-31 2019-12-05 Necディスプレイソリューションズ株式会社 表示システム、表示方法およびプログラム
WO2020136784A1 (ja) * 2018-12-27 2020-07-02 Necディスプレイソリューションズ株式会社 表示システム、表示方法およびプログラム
JP2022039317A (ja) * 2020-08-28 2022-03-10 Kddi株式会社 情報処理装置、情報処理方法及びプログラム
WO2022269891A1 (ja) * 2021-06-25 2022-12-29 三菱電機株式会社 画像処理装置、学習装置、画像処理システム、画像処理方法、生成方法、画像処理プログラム、及び生成プログラム
WO2023286133A1 (ja) * 2021-07-12 2023-01-19 日本電気株式会社 映像提供装置、映像提供システム、映像提供方法及び非一時的なコンピュータ可読媒体
JP7229497B1 (ja) 2022-10-04 2023-02-28 17Live株式会社 サーバ
JP7456060B2 (ja) 2020-07-14 2024-03-26 シンセン インスティテュート オブ アーティフィシャル インテリジェンス アンド ロボティクス フォア ソサエティー ビデオ共有、取得方法、サーバー、端末機器及び媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284008A (ja) * 2002-01-15 2003-10-03 Sony Broadband Solution Corp 情報提供システム、情報提供装置、情報提供方法、情報提供プログラム、情報提供プログラムが記憶された記憶媒体、情報利用装置、情報利用方法、情報利用プログラム、及び情報利用プログラムが記憶された記憶媒体
JP2009301285A (ja) * 2008-06-12 2009-12-24 Yahoo Japan Corp 表示シンボル調整方法、プログラム及び装置
JP2014006914A (ja) * 2011-07-29 2014-01-16 Canon Marketing Japan Inc 情報処理装置、制御方法、プログラム、および情報処理システム
JP2016010145A (ja) * 2014-06-23 2016-01-18 パナソニックIpマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284008A (ja) * 2002-01-15 2003-10-03 Sony Broadband Solution Corp 情報提供システム、情報提供装置、情報提供方法、情報提供プログラム、情報提供プログラムが記憶された記憶媒体、情報利用装置、情報利用方法、情報利用プログラム、及び情報利用プログラムが記憶された記憶媒体
JP2009301285A (ja) * 2008-06-12 2009-12-24 Yahoo Japan Corp 表示シンボル調整方法、プログラム及び装置
JP2014006914A (ja) * 2011-07-29 2014-01-16 Canon Marketing Japan Inc 情報処理装置、制御方法、プログラム、および情報処理システム
JP2016010145A (ja) * 2014-06-23 2016-01-18 パナソニックIpマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107729A (ja) * 2016-12-27 2018-07-05 由希子 岡 接続デバイスおよび画像表示システム
JP7061190B2 (ja) 2018-05-31 2022-04-27 シャープNecディスプレイソリューションズ株式会社 表示システム、表示方法およびプログラム
CN112042207A (zh) * 2018-05-31 2020-12-04 Nec显示器解决方案株式会社 显示系统、显示方法和程序
JPWO2019229926A1 (ja) * 2018-05-31 2020-12-17 Necディスプレイソリューションズ株式会社 表示システム、表示方法およびプログラム
WO2019229926A1 (ja) * 2018-05-31 2019-12-05 Necディスプレイソリューションズ株式会社 表示システム、表示方法およびプログラム
US11509955B2 (en) 2018-05-31 2022-11-22 Sharp Nec Display Solutions, Ltd. Display system, display method, and program
WO2020136784A1 (ja) * 2018-12-27 2020-07-02 Necディスプレイソリューションズ株式会社 表示システム、表示方法およびプログラム
US11438652B2 (en) 2018-12-27 2022-09-06 Sharp Nec Display Solutions, Ltd. Display system, display method, and program
JP7456060B2 (ja) 2020-07-14 2024-03-26 シンセン インスティテュート オブ アーティフィシャル インテリジェンス アンド ロボティクス フォア ソサエティー ビデオ共有、取得方法、サーバー、端末機器及び媒体
JP2022039317A (ja) * 2020-08-28 2022-03-10 Kddi株式会社 情報処理装置、情報処理方法及びプログラム
WO2022269891A1 (ja) * 2021-06-25 2022-12-29 三菱電機株式会社 画像処理装置、学習装置、画像処理システム、画像処理方法、生成方法、画像処理プログラム、及び生成プログラム
WO2023286133A1 (ja) * 2021-07-12 2023-01-19 日本電気株式会社 映像提供装置、映像提供システム、映像提供方法及び非一時的なコンピュータ可読媒体
JP7229497B1 (ja) 2022-10-04 2023-02-28 17Live株式会社 サーバ
JP2024053593A (ja) * 2022-10-04 2024-04-16 17Live株式会社 サーバ

Also Published As

Publication number Publication date
JP6815156B2 (ja) 2021-01-20

Similar Documents

Publication Publication Date Title
JP6815156B2 (ja) 画像表示システムおよび画像表示プログラム
CN103886009B (zh) 基于所记录的游戏玩法自动产生为云游戏建议的小游戏
US9832441B2 (en) Supplemental content on a mobile device
CN113316800A (zh) 多线程智能路由媒体的互操作数字社交记录器及加密资产合规和支付系统和方法
JP5562764B2 (ja) オンラインレポーティング装置および方法
EP2198401B1 (en) Method and system for customising live media content
EP2092435A2 (en) Public library system for providing reading-together at two remote locations of a selected children literature item
US20190110112A1 (en) Video streaming system with participant tracking and highlight selection
Gantz et al. Fanship differences between traditional and newer media
CN114554130A (zh) 信息处理装置以及记录介质
WO2021251346A1 (ja) 映像配信システム、それに用いるコンピュータプログラム、及び制御方法
JP2018011850A (ja) 動画記録装置、動画生成方法、及びプログラム
WO2021199559A1 (ja) 動画配信装置、動画配信方法、および、動画配信プログラム
US11845011B2 (en) Individualized stream customizations with social networking and interactions
JP2018107729A (ja) 接続デバイスおよび画像表示システム
JP7410473B2 (ja) 情報処理装置
TW201019723A (en) Multimedia broadcast system with split-screen functionality
JP7125729B1 (ja) サーバ
JP2022141627A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP6726346B1 (ja) 報酬管理システム、報酬管理方法、および報酬管理プログラム
JP2003087760A (ja) 情報提供ネットワークシステム及び情報提供方法
JP7378851B2 (ja) 表示装置
US20230179836A1 (en) Server, method and terminal
JP7162387B1 (ja) 興行映像表示プログラム
TW201806398A (zh) 行動裝置與節目之即時互動方法與系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250