JP2020031262A - 処理装置、処理プログラムおよび処理方法 - Google Patents

処理装置、処理プログラムおよび処理方法 Download PDF

Info

Publication number
JP2020031262A
JP2020031262A JP2018153814A JP2018153814A JP2020031262A JP 2020031262 A JP2020031262 A JP 2020031262A JP 2018153814 A JP2018153814 A JP 2018153814A JP 2018153814 A JP2018153814 A JP 2018153814A JP 2020031262 A JP2020031262 A JP 2020031262A
Authority
JP
Japan
Prior art keywords
video
time information
content
time
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018153814A
Other languages
English (en)
Other versions
JP7192304B2 (ja
Inventor
智弘 森谷
Toshihiro Moriya
智弘 森谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2018153814A priority Critical patent/JP7192304B2/ja
Publication of JP2020031262A publication Critical patent/JP2020031262A/ja
Application granted granted Critical
Publication of JP7192304B2 publication Critical patent/JP7192304B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】進行方向に並んだ複数画面に表示された映像コンテンツの内容を、歩行している視聴者が理解する。【解決手段】本発明の映像再生装置2は、時刻情報を基準として、再生開始時刻情報と再生開始時刻情報を調整するためのオフセット値とを用いてコンテンツの再生タイミングが制御されることにより、映像受信部23で受信した第1コンテンツを処理する映像再生部242と、所定のユーザが第1コンテンツを1つの連続したコンテンツとして視聴されるように第1時間情報を用いて調整する再生タイミング生成部241と、を有することを特徴とする。【選択図】図1

Description

本発明は、処理装置、処理プログラムおよび処理方法に関し、例えば、複数枚のデジタルサイネージ画面にひとつの映像コンテンツを、時間差をつけて再生させる技術に関するものである。
8K/4K映像伝送方式として標準化されているMMT(MPEG media transport)を使用することにより、映像コンテンツの再生開始時間を指定することが可能である。よって複数の端末で、同時にずれなく映像コンテンツを再生することが可能である。このことを利用して、複数の画面で同時にデジタルサイネージを行うことが可能である。なお、MMTについては、非特許文献1,2に開示されている。
"MMTによるコンテンツ配信技術"、[online]、NHKエンジニアリングシステム、[平成30年8月3日検索]、インターネット〈URL:http://www.nes.or.jp/transfer/catalog/2017/09/70a/〉 "MMTを用いた端末間同期技術"、[online]、NHK技研 R&D、[平成30年8月3日検索]、インターネット〈URL:https://www.nhk.or.jp/strl/publica/rd/rd166/pdf/P54.pdf〉
しかしながら、歩行する視聴者の進行方向に並んでいる複数の画面を視聴者が視聴する場合、再生時間の長い映像コンテンツを各画面に同時に流すと、視聴者は、一つの画面の前での視聴を完了せずに次の画面に辿り着いてしまい、前の画面からの続きよりも映像が先に進んでいることがある。視聴者は、画面間を歩行している間は視聴不可であるため、映像コンテンツの内容を理解できない場合がある。
上記事情に鑑みて、本発明は、進行方向に並んだ複数画面に表示された映像コンテンツの内容を、移動している視聴者が理解することを課題とする。
前記課題を解決するため、本発明の処理装置は、時刻情報を基準として、表示時刻情報と表示時刻情報を調整するための第1時間情報とを用いてコンテンツの表示タイミングが制御されることにより、第1コンテンツを処理する第1処理部と、所定のユーザが前記第1コンテンツを1つの連続したコンテンツとして視聴されるように前記第1時間情報を用いて調整する第2処理部と、を有することを特徴とする。
また、本発明の処理プログラムは、処理装置のコンピュータを、時刻情報を基準として、表示時刻情報と表示時刻情報を調整するための第1時間情報とを用いてコンテンツの表示タイミングが制御されることにより、第1コンテンツを処理する第1処理部、所定のユーザが第1コンテンツを1つの連続したコンテンツとして視聴されるように第1時間情報を用いて調整する第2処理部、として機能させるための処理プログラムである。
また、本発明の処理方法は、処理装置における処理方法であって、前記処理装置は、時刻情報を基準として、表示時刻情報と表示時刻情報を調整するための第1時間情報とを用いてコンテンツの表示タイミングが制御されることにより、第1コンテンツを処理するステップと、所定のユーザが第1コンテンツを1つの連続したコンテンツとして視聴されるように第1時間情報を用いて調整するステップと、を実行することを特徴とする。
本発明によれば、進行方向に並んだ複数画面に表示された映像コンテンツの内容を、移動している視聴者が理解することができる。
第1の実施形態におけるデジタルサイネージ時差表示システムの機能構成図である。 第1の実施形態に示す時刻同期とオフセット値の設定手法(手法1)の説明図である。 第1の実施形態における同期時刻配信サーバの機能説明図である。 第1の実施形態における映像再生装置の機能構成図である。 時差再生処理のフローチャートである。 デジタルサイネージ時差表示の具体例の説明図である。 第1の実施形態の変形例に示す時刻同期とオフセット値の設定手法(手法2)の説明図である。 第1の実施形態の変形例における同期時刻配信サーバの機能説明図である。 第1の実施形態の変形例における映像再生装置の機能構成図である。 第2の実施形態におけるデジタルサイネージ時差表示システムの機能構成図である。 第2の実施形態における同期時刻配信サーバ、映像処理装置、および、映像再生装置の機能説明図である。 第3の実施形態におけるデジタルサイネージ時差表示システムの機能構成図である。
以下、本発明の実施するための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、本実施形態では、本発明と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
本実施形態では、MMTを用いて、複数の画面にコンテンツを表示する。MMTに関する説明としては、例えば、
(1)「MMTでは、世界標準時刻であるUTC(Coordinated Universal Time)に基づくPTS(Presentation Time Stamp)をコンテンツとともに送信し、受信端末は自身が持つ時計の時刻とPTSとを照合します。これにより、それぞれの受信環境に応じた伝送遅延時間を把握でき、所望の時刻にコンテンツを提示することができます。」(非特許文献1の〔技術情報〕の(1)コンテンツの同期提示)
(2)「MMTでは、映像を表示させたい時刻を指示するタイムスタンプを送信し、受信端末は自身の時計の時刻とタイムスタンプを比較して映像を表示する。伝送遅延が異なる映像でも、タイムスタンプが同じシーンを同時に表示することで同期させることができる。」(非特許文献2)
がある。
また、本実施形態では、コンテンツを映像コンテンツと呼ぶ場合がある。
≪第1の実施形態≫
<構成>
まず、第1の実施形態におけるデジタルサイネージ時差表示システムA1について詳細に説明する。
図1に示すように、デジタルサイネージ時差表示システムA1は、同期時刻配信サーバ1と、複数の映像再生装置2と、複数の映像表示装置3とにより構成されている。さらに、同期時刻配信サーバ1は、ネットワークNWを通じてNTP(Network Time Protocol)サーバ100に接続されている。また、映像再生装置2は、ネットワークNWを通じて映像配信サーバ200と接続されている。また、複数の映像表示装置3を、1つの映像再生装置2に接続する構成をとってもよい。
(NTPサーバ100)
NTPサーバ100は、ネットワークNWに接続され、NTPプロトコルに基づいて時刻情報を送信することが可能な一般的なNTPサーバ装置である。NTPサーバ100は、ネットワークNWに接続され、各装置の時刻を同期させる機能を持つ。
特に、NTPプロトコルを利用するNTPサーバ100でなくとも、システムで基準となる時刻を生成するサーバを設置することも可能である。
(ネットワークNW)
ネットワークNWは、NTPサーバ100と、同期時刻配信サーバ1と、映像再生装置2と、映像配信サーバ200との間で双方向通信を可能に接続する通信回線網である。例えば、ネットワークNWは以下の通信網を想定する。
・公衆回線:インターネット、電話回線網、衛星通信網、G5/G4モバイルネットワーク
・専用回線網等:WAN(Wide Area Network)、LAN(Local Area Network)、IP−VPN(Internet Protocol-Virtual Private Network)、ワイヤレスLAN等
(映像配信サーバ200)
映像配信サーバ200は、ネットワークNWを通じて、複数の映像再生装置2に接続されている。映像配信サーバ200は映像コンテンツを複数の映像再生装置2に対して一斉にMMT(MPEG media transport)方式でマルチキャストにて送信する。
(同期時刻配信サーバ1)
同期時刻配信サーバ1は、NTPサーバ100が送信する時刻情報をネットワークNWを通じて受信し、同期時刻配信サーバ1が備える時計(図示せず)の時刻をNTPサーバ100の時刻に同期させる。また、同期時刻配信サーバ1は、デジタルサイネージ時差表示システムA1に含まれる複数の映像再生装置2の各々の時刻を同期させるために、複数の映像再生装置2に対して一斉にマルチキャストで時刻情報を送信する。このとき、同期時刻配信サーバ1は、自身が備える時計の時刻によって時刻情報を送信するタイミングを制御する。
また、同期時刻配信サーバ1は、複数の映像再生装置2の各々の時刻を同期させるために、複数の映像再生装置2に対して一斉にブロードキャストで時刻情報を送信することもできる。
第1の実施形態では、デジタルサイネージ時差表示システムA1に含まれる複数の映像再生装置2の表示をずらすために、複数の映像再生装置2に対して別々のオフセット値をあらかじめ設定しておく。図2に、第1の実施形態に示す時刻同期とオフセット値の設定手法(手法1)を示す。
図2を参照すると、同期時刻配信サーバ1は、複数の映像再生装置2に対して一斉に時刻情報を送出する。また、映像配信サーバ200は、映像コンテンツを、複数の映像再生装置2に対して一斉にマルチキャスト配信する。複数の映像再生装置2は、映像配信サーバ200から受信した映像コンテンツを、同期時刻配信サーバ1からの時刻情報が示す時刻に、各映像再生装置2に予め設定されたオフセット値を加算した時刻から再生させる。設定値(オフセット値)は任意で自由に設定できることとする。よって、同期時刻配信サーバ1は、オフセット値の設定に関係はしない。
ここで、各映像再生装置2に予め設定されたオフセット値の一例は、図2において、各映像再生装置2の右上に記載される「±0」(秒)、「+5」(秒)、「+10」(秒)、「+15」(秒)、「+20」(秒)、「+25」(秒)、「+30」(秒)である。
図2では、7台の映像再生装置2について、最左の映像再生装置2が映像コンテンツを時刻情報に示す時刻の通りに再生開始する場合、右隣りの映像再生装置2は、5秒経過して再生開始し、さらに右隣りの映像再生装置2は、10秒経過して再生開始し、最右の映像再生装置2は、30秒経過して再生開始することを示す。
(映像再生装置2)
図1に戻って、映像再生装置2は、コンテンツを再生して映像表示装置3に表示する機能を有する。映像再生装置2に接続される映像表示装置3は複数になることもある。このとき、映像再生装置2は、自身が有する時計の時刻に従ってコンテンツ毎に設定された時刻にコンテンツを再生する。そのため、映像再生装置2は、同期時刻配信サーバ1から定期的に、または、不定期に時刻情報を受信して、自身が有する時計の時刻と同期時刻配信サーバ1の時刻とを同期させ、デジタルサイネージ時差表示システムA1が備える他の映像再生装置2の時刻と同期させる。また、映像再生装置2は、ネットワークNWを通じて接続されている映像配信サーバ200からの映像コンテンツを再生して、映像表示装置3に表示させる。
それぞれの映像再生装置2では、あらかじめオフセット値が設定されている。それぞれの映像再生装置2は、同期時刻配信サーバ1からの時刻情報に同期し、同期した時刻にオフセット値を加味する。そして、それぞれの映像再生装置2は映像配信サーバ200から受信した映像信号(映像コンテンツ)を同信号から抽出した再生開始時刻情報に合わせて再生させる。設定値(オフセット値)は任意で自由に設定できることとする。
ここで、再生開始時刻情報は、「表示時刻情報」の一例である。
また、オフセット値は、「第1時間情報」の一例である。
(映像表示装置3)
映像表示装置3は、映像再生装置2に接続されており、映像再生装置2が再生するコンテンツの映像を表示する。映像表示装置3は、例えば、以下を想定する。
・液晶ディスプレイ(LCD;Liquid Crystal Display)
・プラズマディスプレイ(PDP;Plasma Display Panel)
・ブラウン管ディスプレイ(CRT;Cathode Ray Tube)
・ビデオプロジェクタ
・LED(Light Emitting Diode)ディスプレイ
・今後開発されるあらゆる種類のディスプレイ
[同期時刻配信サーバ1の構成]
図3を使用し、第1の実施形態における同期時刻配信サーバ1の機能構成を説明する。
図3に示すように、同期時刻配信サーバ1は、同期時刻受信部11と、内部時計部12と、同期時刻配信部13と、を備える。また、同期時刻受信部11は、ネットワークNWを通じてNTPサーバ100に接続されている。また、同期時刻配信部13には、複数の映像再生装置2が接続されている。
(同期時刻受信部11)
同期時刻受信部11は、ネットワークNWを通じて、NTPサーバ100から時刻情報を受信する。例えば、同期時刻受信部11は、NTPサーバ100に時刻情報要求信号を送信することで、NTPサーバ100から時刻情報を受信することができる。
(内部時計部12)
内部時計部12は、同期時刻受信部11から時刻情報を取得し、その時刻情報に基づいて自身の時刻合わせを実行する。そして、内部時計部12は、同期時刻受信部11が受信した時刻情報が示す時刻に自身の現在時刻を設定し、同期時刻配信サーバ1の時計として機能する。
(同期時刻配信部13)
同期時刻配信部13は、内部時計部12が生成する時刻から時刻情報を生成し、複数の映像再生装置2に対して一斉にマルチキャストで配信する。
[映像再生装置2の構成]
図4を使用し、第1の実施形態における映像再生装置2の機能構成を説明する。
図4に示すように、映像再生装置2は、同期時刻受信部21と、内部時計部22と、映像受信部23と、表示制御部24と、を備える。さらに、表示制御部24は、再生タイミング生成部241と、映像再生部242と、を備える。
(同期時刻受信部21)
同期時刻受信部21は、同期時刻配信サーバ1から時刻情報を受信する。例えば、同期時刻受信部21は、同期時刻配信サーバ1に対して時刻情報要求信号を送信することで、同期時刻配信サーバ1から時刻情報を受信することができる。
(内部時計部22)
内部時計部22は、同期時刻受信部21から時刻情報を受信し、その時刻情報に基づいて自身の時刻合わせを実行する。そして、内部時計部22は、同期時刻受信部21が受信した時刻情報が示す時刻に自身の現在時刻を設定し、映像再生装置2の時計として機能する。
(映像受信部23)
映像受信部23は、映像配信サーバ200から送信された映像コンテンツを受信し、受信した映像コンテンツから再生開始時刻情報(タイムスタンプ)を抽出して、表示制御部24の再生タイミング生成部241へ送信する。また、映像受信部23は、映像コンテンツを表示制御部24の映像再生部242へ送信する。
ここで、映像受信部23は、映像配信サーバ200から送信された映像コンテンツを、MMT方式であり、マルチキャスト方式(以下、MMT方式マルチキャストと記載)で受信する。
(表示制御部24;再生タイミング生成部241)
表示制御部24を構成する再生タイミング生成部241は、各映像再生装置2で設定されているオフセット値と、内部時計部22が生成する時刻と、映像受信部23からの再生開始時刻情報とから生成された、映像コンテンツ毎の再生タイミングを映像再生部242に通知する。
ここで、再生タイミングは、「表示タイミング」の一例である。
また、映像受信部23で受信する映像コンテンツは、「第1コンテンツ」の一例である。
また、再生タイミング生成部241は、「第2処理部」の一例である。
第1の実施形態では、オフセット値と、内部時計部22が刻む時刻、映像受信部23からの再生開始時刻情報に基づいて、映像コンテンツ毎に設定された再生タイミングが、映像再生部242に通知される。
(表示制御部24;映像再生部242)
映像再生部242は、再生タイミング生成部241から通知された再生タイミングを使用し、映像受信部23から受信した映像コンテンツの再生を行う。映像再生部242は、映像表示装置3に接続されており、映像信号(映像コンテンツ)を映像表示装置3に送信し、映像を表示することができる。このとき、映像再生部242に接続される映像表示装置3は、1台または複数台とすることができる。
ここで、映像再生部242は、「第1処理部」の一例である。
再生タイミング生成部241において、内部時計部22から受領した時刻情報からオフセット値を減算したときの時刻と、映像受信部23から受信した再生開始時刻情報が示す時刻とから生成した再生タイミングが、映像再生部242に通知される。
また、映像受信部23において、映像コンテンツから抽出した再生開始時刻情報が、再生タイミング生成部241に送信され、映像コンテンツが映像再生部242に送信される。
映像再生部242において、再生タイミング生成部241から通知された再生タイミングで、映像受信部23から受信された映像コンテンツの再生を開始する。
<処理>
図5を使用して、第1の実施形態の映像再生装置2が実行する時差再生処理について説明する。映像再生装置2の再生タイミング生成部241には、所定量のオフセット値が予め設定されているとする。
図5に示すように、まず、映像再生装置2は、同期時刻受信部21によって、同期時刻配信サーバ1から時刻情報を受信する(ステップS1)。受信した時刻情報は、NTPサーバ100の時刻に同期しており、内部時計部22によって、映像再生装置2自身の時刻情報となる。時刻情報は、内部時計部22から再生タイミング生成部241に出力される。
次に、映像再生装置2は、映像受信部23によって、映像配信サーバ200から映像コンテンツを受信する(ステップS2)。映像受信部23は、受信した映像コンテンツから再生開始時刻情報を抽出する(ステップS3)。抽出した再生開始時刻情報は、映像受信部23から再生タイミング生成部241に出力される。
次に、映像再生装置2は、再生タイミング生成部241によって、時刻情報と、オフセット値と、再生開始時刻情報とを照合し、「時刻情報 − オフセット値 = 再生開始時刻情報」という関係式が成立したか否か判定する(ステップS4)。成立しない場合(ステップS4でNo)、時刻情報が示す時刻が進み、関係式が成立するまで、本処理を待機する。
関係式が成立した場合(ステップS4でYes)、映像コンテンツの再生タイミングが決定され、映像再生装置2は、映像再生部242によって、映像コンテンツを決定された再生タイミングで再生する(ステップS5)。なお、図5の時差再生処理は、複数台ある映像再生装置2の各々で実行される。
図5の時差再生処理によれば、映像再生装置2の時刻情報が示す時刻を、映像再生装置2の各々に設定されているオフセット値だけずらすことができる。MMT方式マルチキャストによって、同じ映像コンテンツが映像配信サーバ200から映像再生装置2の各々に送信されるが、映像再生装置2の各々の時刻情報に異なるオフセットがかかっているため、映像コンテンツの再生は、それぞれのオフセット値の分だけ遅れて(時刻が繰り下がって)開始することができる。
(具体例)
図6に示すように、歩行する視聴者Wの進行方向に並んでいる複数の画面1〜7を視聴者が視聴する場合について説明する。画面1〜7は、7台の映像表示装置3(図1)の表示画面である。映像配信サーバ200は、映像再生装置2(図1)を経由して映像コンテンツを画面1〜7にマルチキャスト配信する。
従来では、再生時間の長い映像コンテンツを各画面1〜7に同時に流していた。この場合、視聴者は、画面間を歩行している間は視聴不可であるため、映像コンテンツを断片的にしか視聴することができなかった。
各画面1〜7に同時に流す映像コンテンツの再生時間が14秒(sec)であったとする。また、隣接する画面間を視聴者Wが歩行する時間が5秒間であったとする。この5秒間は、視聴不可の時間となる。また、各画面の傍を通過する視聴者Wがその画面に表示されている映像コンテンツを視聴できる時間は2秒間であったとする。
視聴者Wが画面1の傍を通過した時に、画面1〜7で映像コンテンツの再生を開始した場合、視聴者Wは、再生開始後0秒後〜2秒後の映像コンテンツを画面1で視聴することができる。しかし、画面1を通過し画面2を視聴することができるまでの5秒間で映像コンテンツが進んでしまう。視聴者Wが画面2を視聴することができる場所を通過する時は、画面2では、再生開始後7秒後の映像コンテンツが表示されている。視聴者Wは、2秒後の映像コンテンツの後に、7秒後の映像コンテンツを視聴することになる。視聴者Wは、再生開始後2秒後〜7秒後の映像コンテンツを視聴することができないため、映像コンテンツの内容を理解することができない。
そこで、本発明では、複数画面で同時刻に再生を行うのではなく、時間差をつけて再生を行う。この時間差は、視聴者Wの歩く時間を考慮して適宜決定することができ、オフセット値として設定される。図6の例では、画面2〜7では、前の画面から5秒後に再生開始するように調整する。つまり、画面2〜7に対応する映像再生装置2の各々で設定されているオフセット値は、+5秒、+10秒、+15秒、+20秒、+25秒、+30秒となる。オフセット値は、視聴者が視聴不可となる画面間の移動に要する時間に一致する。
視聴者Wが画面1の傍を通過した時に、画面1で映像コンテンツの再生を開始した場合、視聴者Wは、再生開始後0秒後〜2秒後の映像コンテンツを画面1で視聴することができる。視聴者Wは、画面1,2間を5秒間で歩行する。
画面2に表示される映像コンテンツの再生開始は、画面1での再生開始から5秒後となる。よって、視聴者Wは、画面2での再生開始後2秒後に、画面2の傍を通過することができ、再生開始後2秒後〜4秒後の映像コンテンツを画面2で視聴することができる。視聴者Wは、画面2,3間を5秒間で歩行する。
画面3に表示される映像コンテンツの再生開始は、画面2での再生開始から5秒後となる。よって、視聴者Wは、画面3での再生開始後4秒後に、画面3の傍を通過することができ、再生開始後4秒後〜6秒後の映像コンテンツを画面3で視聴することができる。視聴者Wは、画面3,4間を5秒間で歩行する。
以降、画面4〜画面6についても同様に繰り返される。
画面7に表示される映像コンテンツの再生開始は、画面6での再生開始から5秒後となる。よって、視聴者Wは、画面7での再生開始後12秒後に、画面7の傍を通過することができ、再生開始後12秒後〜14秒後の映像コンテンツを画面7で視聴することができる。視聴者Wは、画面1〜画面7に亘って、計14秒のコンテンツを連続的に視聴することができるため、映像コンテンツの内容を理解することができる。
本具体例によれば、進行方向に並んだ複数画面に表示された映像コンテンツの内容を、歩行(移動)している視聴者が理解することができる。
≪第1の実施形態の変形例≫
次に、第1の実施形態の変形例におけるデジタルサイネージ時差表示システムA1−1について、主に、デジタルサイネージ時差表示システムA1との相違点について詳細に説明する。
第1の実施形態の変形例では、デジタルサイネージ時差表示システムA1−1に含まれる複数の映像再生装置2の表示をずらすために、複数の映像再生装置2に対してそれぞれ個別に時刻情報(オフセット済みの時刻情報)を同期時刻配信サーバ1が送付する。図7に、第1の実施形態の変形例に示す時刻同期とオフセット値の設定手法(手法2)を示す。
図7を参照すると、同期時刻配信サーバ1は、複数の映像再生装置2に対して一斉にそれぞれ個別の時刻情報を送出する。また、映像配信サーバ200は、映像コンテンツを、複数の映像再生装置2に対して一斉にマルチキャスト配信する。それぞれの映像再生装置2は、映像配信サーバ200から受信した映像信号(映像コンテンツ)を同信号から抽出した再生開始時刻情報に合わせて再生させる。設定値(オフセット値)は任意で自由に設定できることとする。
図7では、7台の映像再生装置2について、最左の映像再生装置2が映像コンテンツを時刻情報に示す時刻の通りに再生開始する場合、5秒のオフセット値を含む時刻情報を同期時刻配信サーバ1から取得する右隣りの映像再生装置2は、5秒経過して再生開始することを示す。また、10秒のオフセット値を含む時刻情報を同期時刻配信サーバ1から取得するさらに右隣りの映像再生装置2は、10秒経過して再生開始する。以下、同様にして、30秒のオフセット値を含む時刻情報を同期時刻配信サーバ1から取得する最右の映像再生装置2は、30秒経過して再生開始する。
図8に示すように、デジタルサイネージ時差表示システムA1−1と、第1の実施形態のデジタルサイネージ時差表示システムA1(図3)と相違する点は、同期時刻配信サーバ1がオフセット値設定部14をさらに備える点である。
(オフセット値設定部14)
オフセット値設定部14は、作業者が設定した各映像再生装置2向けのオフセット値を同期時刻配信部13に送信する。同期時刻配信部13では、内部時計部12から受信した時刻情報にオフセット値設定部14から受信した各映像再生装置2向けのオフセット値を加えた時刻情報を各映像再生装置2に向けて送信する。
ここで、オフセット値を加えた時刻情報は、「オフセット値が加味された時刻情報」の一例である。
また、オフセット値設定部14を備える同期時刻配信サーバ1は、「第1装置」(外部)の一例である。
オフセット値は手動で入力しても良いし、自動で、例えば、曜日によってオフセット値を変える(平日は歩く速度が速く、休日は遅い)などによって、行うことも可能である。また、同期時刻配信サーバ1は、例えば、それぞれ個別の時刻情報を送信するために、各映像再生装置2にユニキャストで時刻情報を送信することができる。
それぞれの映像再生装置2は、同期時刻配信サーバ1からの(オフセット値を含む)時刻情報に同期する。そして、それぞれの映像再生装置2は、映像配信サーバ200から受信した映像信号(映像コンテンツ)を同信号から抽出した再生開始時刻情報に合わせて再生させる。
図9に示すように、映像再生装置2の再生タイミング生成部241は、内部時計部22が刻む時刻、映像受信部23からの映像コンテンツから抽出された再生開始時刻情報に基づいて、映像コンテンツ毎に設定された再生タイミングを生成し、映像再生部242に通知する。このとき、第1の実施形態のように、映像再生装置2へのオフセット設定は必要ない。
再生タイミング生成部241において、内部時計部22から受領した、(オフセット値分減算させた)時刻情報が示す時刻と、映像受信部206から受信した再生開始時刻情報が示す時刻とから生成した再生タイミングが、映像再生部242に通知される。
また、映像受信部23において、映像コンテンツから抽出した再生開始時刻情報が、再生タイミング生成部241に送信され、映像コンテンツが映像再生部242に送信される。
映像再生部242において、再生タイミング生成部241から通知された再生タイミングで、映像受信部23から受信された映像コンテンツの再生を開始する。
第1の実施形態の変形例における時差再生処理は、図5に示すものと同様である。ただし、映像再生装置2が同期時刻配信サーバ1から受信する時刻情報は、オフセット値設定部14(図8)が設定したオフセット値分減算された時刻を示す時刻情報となっている点、および、図5のステップS4の関係式は、「(オフセット値分減算された)時刻情報 = 再生開始時刻情報」となる点が異なる。
第1の実施形態の変形例によれば、同期時刻配信サーバ1が各映像表示装置3の画面へ送信する時刻値を制御する。つまり、同期時刻配信サーバ1がそれぞれの映像再生装置2に固有の時刻値を生成し、各映像再生装置2へ送信する。例えば、同期時刻配信サーバ1は、各映像再生装置2をIPアドレスで識別することができる。
よって、MMT方式マルチキャストによって、同じ映像コンテンツが映像配信サーバ200から映像再生装置2の各々に送信されるが、映像再生装置2の各々の時刻情報に異なるオフセットがかかっているため、映像コンテンツの再生は、それぞれのオフセット値の分だけ繰り下がって開始することができる。
第1の実施形態の変形例の場合、同期時刻配信サーバ1にオフセット値設定部14を備えることで、多数存在する映像再生装置2に時刻オフセット機能を実装する改造を不要とすることができ、実装コストを抑えることができる。
≪第2の実施形態≫
次に、第2の実施形態におけるデジタルサイネージ時差表示システムA2について詳細に説明する。但し、上記の第1の実施形態、および、その変形例におけるデジタルサイネージ時差表示システムA1,A1−1と実質的に同一の構成要素については詳細な説明を省略し、同一の符号を付することにより重複する説明を省略する。
図10に示すように、デジタルサイネージ時差表示システムA2は、同期時刻配信サーバ1と、複数の映像再生装置2(2−1〜2−7)と、複数の映像表示装置3と、映像処理装置4(4−1,4−2)と、カメラ5(5−1,5−2)により構成される。第2の実施形態では、特に、映像処理装置4の機能構成に特徴を有する。
映像処理装置4は、カメラ5が撮影したときの撮影情報を処理する装置である。
カメラ5は、所定の空間を撮影する装置である。
例えば、カメラ5が、歩行者(映像コンテンツを視聴する視聴者)を撮影した場合、映像処理装置4は、カメラ5が撮影した歩行者を認知(検出)し、歩行者の歩行速度を計算することができる。また、映像処理装置4は、歩行速度に応じたオフセット値を算出することができる。算出したオフセット値は、歩行速度に比例した値であり、図6に示す具体例でいえば、隣接する画面間の移動に対応する値(時間)とすることができる。
図10のデジタルサイネージ時差表示システムA2に関して、映像処理装置4−1は、カメラ5−1が撮影した歩行者(物体)を認知し、歩行者における移動の速度計算(歩行速度)をし、映像再生装置2−1〜2−3、および、映像処理装置4−2に相応のオフセット値(sec(秒))を送信することができる。例えば、図10に示すように、映像再生装置2−1に送信されたオフセット値を、±0とし、映像再生装置2−2に送信されたオフセット値を、+4とし、映像再生装置2−3に送信されたオフセット値を、+8とし、映像処理装置4−2に送信されたオフセット値を、映像再生装置2−1〜2−3の各々に送信されたオフセット値±0、+4、+8の集まりとすることができる。
また、映像処理装置4−1は、カメラ5−1が撮影した歩行者を認知し、速度計算をし、映像再生装置2−4〜2−7に、映像処理装置4−1からのオフセット値を加味したオフセット値を送信することができる。例えば、図10に示すように、カメラ5−1の撮影空間を通過する歩行者の歩行速度が小さくなったことを考慮して、映像再生装置2−4に送信されたオフセット値を、+12とするが、映像再生装置2−5に送信されたオフセット値を、+19とし、映像再生装置2−6に送信されたオフセット値を、+26とし、映像再生装置2−7に送信されたオフセット値を、+33とすることができる。
[同期時刻配信サーバ1の構成]
次に、図11を使用し、第2の実施形態における同期時刻配信サーバ1の機能構成について説明する。
但し、上記の第1の実施形態、および、その変形例における同期時刻配信サーバ1と実質的に同一の構成要素については詳細な説明を省略し、同一の符号を付することにより重複する説明を省略する。
また、上記の第1の実施形態、および、その変形例における映像再生装置2と実質的に同一の構成要素については詳細な説明を省略し、同一の符号を付することにより重複する説明を省略する。
(同期時刻配信部13)
同期時刻配信部13は、内部時計部12が刻む時刻に基づいて時刻情報を生成し、当該時刻情報を複数の映像再生装置2に対して一斉に配信する。つまり、同期時刻配信部13は、内部時計部12に基づき、所定の時刻を示す時刻情報をデジタルサイネージ時差表示システムA2内の複数の映像再生装置2にマルチキャストする。
[映像再生装置2の構成]
次に、図11を使用し、第2の実施形態における映像再生装置2の構成について説明する。
図11に示すように、映像再生装置2は、同期時刻受信部21と、内部時計部22と、映像受信部23と、表示制御部24とを備える。さらに、表示制御部24は、再生タイミング生成部241と、映像再生部242と、を備える。
(内部時計部22)
内部時計部22は、同期時刻受信部21から時刻情報を取得し、当該時刻情報に基づいて後述する時刻合わせを実行する。つまり、内部時計部22は、同期時刻受信部21が受信した時刻情報が示す時刻に現在時刻を設定する。内部時計部22は、映像再生装置2の時計である。内部時計部22は、同期時刻受信部21が受信した時刻情報に基づいて設定した時刻を基準にして時刻を刻む機能を有する。内部時計部22は、例えば、映像再生装置2が有するシステム時計等により構成される。
(表示制御部24;再生タイミング生成部241)
表示制御部24を構成する再生タイミング生成部241は、映像処理装置4のオフセット算出部43から受信したオフセット値と、映像受信部23から受信した再生開始時刻情報と、内部時計部22が刻む時刻に基づいて、コンテンツ毎に設定された再生タイミングを映像再生部242に通知する。
[映像処理装置4の構成]
次に、図11を使用し、第2の実施形態における映像処理装置4の構成について説明する。映像処理装置4は、動体検知部41と、速度検出部42と、オフセット算出部43と、を備える。
(動体検知部41、速度検出部42、オフセット算出部43)
動体検知部41は、カメラ5から撮影情報(映像信号)を受信し、動いているものを検知し、その検知した情報(動体情報)を速度検出部42へ送る。
速度検出部42は、動体検知部41から受信した動体情報から、動体の速度を検出し、その検知した情報(速度情報)をオフセット算出部43へ送る。
ここで、動体の速度は、「移動速度」の一例である。
オフセット算出部43は、速度検出部42から受信した速度情報から、オフセット値を算出し、算出したオフセット値を、映像再生装置2の再生タイミング生成部241へ送信する。
ここで、オフセット算出部43を備える映像処理装置4は、「第1装置」(外部)の一例である。
第2の実施形態における時差再生処理は、図5に示すものと同様である。ただし、再生タイミング生成部241が用いるオフセット値は、映像処理装置4が算出したオフセット値となっている点が異なる。
第2の実施形態によれば、各映像表示装置3に付随したカメラ5と映像処理装置4によって歩行者を認知し、その速度からオフセット値を算出して各映像再生装置2へ送信する。各映像再生装置2は、映像処理装置4から受信したオフセット値と、映像コンテンツから抽出した再生開始時刻情報に従って映像コンテンツを再生する。
よって、MMT方式マルチキャストによって、同じ映像コンテンツが映像配信サーバ200から映像再生装置2の各々に送信されるが、映像再生装置2の各々の時刻情報に異なるオフセットがかかっているため、映像コンテンツの再生は、それぞれのオフセット値の分だけ繰り下がって開始することができる。
なお、カメラ5と映像処理装置4は画面1(図6)の場所のみでも良いし、複数でも良い。図10に示す構成であれば、画面1,2,3、4(図6)は、映像処理装置4−1の算出したオフセット値に従って表示し、画面4,5,6,7(図6)は、映像処理装置4−2が算出したオフセット値に従って表示する。
≪第3の実施形態≫
次に、第3の実施形態におけるデジタルサイネージ時差表示システムA3について詳細に説明する。但し、上記の第1の実施形態、その変形例、および、第2の実施形態に係るデジタルサイネージ時差表示システムA1,A1−1,A2と実質的に同一の構成要素については詳細な説明を省略し、同一の符号を付することにより重複する説明を省略する。
第3の実施形態の特徴は、上記の第2の実施形態の映像処理装置で、対象の性別や年齢を推定し、推定された情報に基づいて流すコンテンツの再生要求を行う構成にある。
図12に示すように、デジタルサイネージ時差表示システムA3は、同期時刻配信サーバ1と、複数の映像再生装置2(2−1〜2−7)と、複数の映像表示装置3と、映像処理装置4(4−1,4−2)と、カメラ5(5−1,5−2)により構成される。第3の実施形態では、特に、映像処理装置4の機能構成に特徴を有する。
デジタルサイネージ時差表示システムA2とデジタルサイネージ時差表示システムA3との相違点は、デジタルサイネージ時差表示システムA3の映像処理装置4が対象識別部44を備える点である。
[映像処理装置4の構成]
次に、図12を使用し、第3の実施形態における映像処理装置4の構成について説明する。
図12に示すように、映像処理装置4は、動体検知部41と、速度検出部42と、オフセット算出部43と、対象識別部44とを備える。
対象識別部44は、動体検知部41から受信した動体情報から、動体の対象を識別する。例えば、対象識別部44は、対象が男性か女性か、年齢はいくつか、眼鏡はかけているか、ネクタイをしているか、等の特性を確認することができる。対象識別部44は、確認した情報から、例えば、対象に効果的なCMを映像表示装置3から見せるために、最適な映像コンテンツを再生するように、映像配信サーバ200へ、コンテンツ再生要求を送信する。
ここで、コンテンツ再生要求は、「ユーザの特性に対応したコンテンツの表示要求」の一例である。
映像配信サーバ200は、視聴者の分類(特性)と、分類された視聴者に表示するコンテンツとを紐付けるデータベース(図示せず)を記憶している。視聴者の分類としては、例えば、性別、年代、身につけている衣類やアクセサリーの種類、などがあるが、これらに限定されない。映像配信サーバ200は、コンテンツ再生要求に含まれるキーが、上記の分類のいずれかに該当していた場合、該当する分類に紐付けられた映像コンテンツを映像再生装置2に送信する。映像コンテンツの再生タイミングに関するオフセット値に関する事項は、第2の実施形態と同様である。
第3の実施形態によれば、第2の実施形態の効果に加えて、カメラ5と映像処理装置4によって歩行する視聴者の性別や年齢などといった視聴者の特性を認知し、視聴者の特性に対応した映像コンテンツのコンテンツ再生要求を映像配信サーバ200へ行うことができる。また、映像配信サーバ200は、当該要求に合致するコンテンツを配信することができる。よって、歩行する視聴者の嗜好に合う映像コンテンツをその視聴者に視聴してもらうことができ、デジタルサイネージ表示に強い関心を視聴者に抱かせることができる。
例えば、ターゲットを絞り、例えば若い女性を、画面1(図6)を含む空間を撮影するカメラ4(4−1)、もしくは、画面4(図6)を含む空間を撮影するカメラ4(4−2)が認知した場合、映像配信サーバ200は、映像処理装置4からのコンテンツ再生要求に応じて、ターゲットに向けた映像コンテンツ、例えば、データベース上で若い女性という分類と紐付けられた化粧品のCMの映像コンテンツを配信する。映像再生装置2は、その化粧品のCMの映像コンテンツを再生し、映像表示装置3に表示する。また、映像処理装置4は、視聴者となる若い女性の歩く速度を計算し、その速度から、各映像表示装置3の画面に対するオフセット値を個別に計算し、各映像再生装置2に個別のオフセット値を送信する。各映像表示装置3は、オフセット値に従う再生開始時刻情報に合わせてCMを流す。
その結果、進行方向に並んだ複数画面に表示された化粧品CMの内容を、歩行している若い女性が理解することができる。
≪その他≫
(a):動く歩道で移動中の歩行者に対し、動く歩道の進行方向に並んだ複数画面から映像コンテンツを時差表示する場合、動く歩道で移動中の歩行者の移動速度に合わせてオフセット値を複数画面に個別に適宜設定することで、歩行者は、動く歩道で移動しつつ映像コンテンツの内容を理解することができる。
ここで、動く歩道で移動中の歩行者の移動速度は、「移動速度」の一例である。
(b):車や列車などの移動物体の中にいる人に対し、移動物体の進行方向に並んだ複数画面から映像コンテンツを時差表示する場合、移動物体で移動中の人の移動速度に合わせてオフセット値を複数画面に個別に適宜設定することで、人は、移動物体で移動しつつ映像コンテンツの内容を理解することができる。
ここで、移動物体で移動中の人の移動速度は、「移動速度」の一例である。
(c):各実施形態では、再生タイミング生成部241が、同期済みの時刻情報にオフセット値を作用させて、映像コンテンツの再生開始を遅らせていた。ただし、オフセット値を時刻情報に作用させる処理は、再生タイミング生成部241の処理の前段でもよい。例えば、映像再生装置2が備える内部時計部22(図4など)が、オフセット値を予め有し、内部時計部22の時刻情報にオフセット値を加味してもよい。また、内部時計部22は、同期時刻配信サーバ1や映像処理装置4などの第1の装置(外部)から取得したオフセット値を、内部時計部22の時刻情報に加味してもよい。
また、第1の実施形態の変形例の同期時刻配信サーバ1が設定するオフセット値を、同期時刻配信サーバ1の内部時計部22の時刻情報に加味してもよい。
(d):また、映像再生装置2は、予め有している、または、第1の装置(外部)から取得したオフセット値を、映像配信サーバ200から受信した映像コンテンツから抽出される再生開始時刻情報に加味(加算)して、再生開始タイミングを遅らせることもできる。
(e):本実施形態の同期時刻配信サーバ1(同期時刻配信部13)は、複数の映像再生装置2に対して一斉にマルチキャストで時刻情報を送信する代わりに、同期時刻配信サーバ1(同期時刻配信部13)は、各映像再生装置2に対して、個別にユニキャストにて時刻情報を送信してもよい。
(f):本実施形態の映像再生装置2は、CPU(Central Processing unit)と、メモリと、ハードディスクなどの記憶手段(記億部)と、ネットワークインタフェースとを有するコンピュータとして構成される。このコンピュータは、CPUが、メモリ上に読み込んだプログラムを実行することにより、各種機能が実現される。同期時刻配信サーバ1、映像表示装置3、映像処理装置4、その他の装置についても同様である。
A1,A1−1,A2,A3 デジタルサイネージ時差表示システム
1 同期時刻配信サーバ
11 同期時刻受信部
12 内部時計部
13 同期時刻配信部
14 オフセット設定部
2 映像再生装置
21 同期時刻受信部
22 内部時計部
23 映像受信部
24 表示制御部
241 再生タイミング生成部
242 映像再生部
3 映像表示装置
4 映像処理装置
41 動体検知部
42 速度検出部
43 オフセット算出部
44 対象識別部
5 カメラ
100 NTPサーバ
200 映像配信サーバ

Claims (9)

  1. 時刻情報を基準として、表示時刻情報と表示時刻情報を調整するための第1時間情報とを用いてコンテンツの表示タイミングが制御されることにより、第1コンテンツを処理する第1処理部と、
    所定のユーザが前記第1コンテンツを1つの連続したコンテンツとして視聴されるように前記第1時間情報を用いて調整する第2処理部と、
    を有することを特徴とする処理装置。
  2. 前記第1時間情報は、予め設定され、かつ、前記処理装置自身に固有の情報である、
    ことを特徴とする請求項1に記載の処理装置。
  3. 前記第1時間情報は、第1装置から受信し、かつ、前記処理装置自身に固有の情報である、
    ことを特徴とする請求項1に記載の処理装置。
  4. 前記第1装置は、前記時刻情報を前記処理装置に送信する同期時刻配信サーバであり、
    前記第1時間情報が加味された前記時刻情報を前記同期時刻配信サーバから受信する、
    ことを特徴とする請求項3に記載の処理装置。
  5. 前記第1装置は、前記ユーザを撮影した撮影情報を処理する映像処理装置であり、
    前記第1時間情報を前記映像処理装置から受信する、
    ことを特徴とする請求項3に記載の処理装置。
  6. 前記映像処理装置は、前記撮影情報を処理して、前記ユーザの移動速度に基づいて算出し、
    前記算出した移動速度に基づいて、前記第1時間情報を、前記処理装置ごとに固有に算出する、
    ことを特徴とする請求項5に記載の処理装置。
  7. 前記第1コンテンツは、
    前記映像処理装置が撮影した前記ユーザの特性に対応したコンテンツの表示要求を満たすコンテンツである、
    ことを特徴とする請求項5または請求項6に記載の処理装置。
  8. 処理装置のコンピュータを、
    時刻情報を基準として、表示時刻情報と表示時刻情報を調整するための第1時間情報とを用いてコンテンツの表示タイミングが制御されることにより、第1コンテンツを処理する第1処理部、
    所定のユーザが第1コンテンツを1つの連続したコンテンツとして視聴されるように第1時間情報を用いて調整する第2処理部、
    として機能させるための処理プログラム。
  9. 処理装置における処理方法であって、
    前記処理装置は、
    時刻情報を基準として、表示時刻情報と表示時刻情報を調整するための第1時間情報とを用いてコンテンツの表示タイミングが制御されることにより、第1コンテンツを処理するステップと、
    所定のユーザが第1コンテンツを1つの連続したコンテンツとして視聴されるように第1時間情報を用いて調整するステップと、
    を実行することを特徴とする処理方法。
JP2018153814A 2018-08-20 2018-08-20 処理装置、処理プログラムおよび処理方法 Active JP7192304B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018153814A JP7192304B2 (ja) 2018-08-20 2018-08-20 処理装置、処理プログラムおよび処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018153814A JP7192304B2 (ja) 2018-08-20 2018-08-20 処理装置、処理プログラムおよび処理方法

Publications (2)

Publication Number Publication Date
JP2020031262A true JP2020031262A (ja) 2020-02-27
JP7192304B2 JP7192304B2 (ja) 2022-12-20

Family

ID=69622851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018153814A Active JP7192304B2 (ja) 2018-08-20 2018-08-20 処理装置、処理プログラムおよび処理方法

Country Status (1)

Country Link
JP (1) JP7192304B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080478A1 (en) * 2009-10-05 2011-04-07 Michinari Kohno Information processing apparatus, information processing method, and information processing system
JP2011077913A (ja) * 2009-09-30 2011-04-14 Nhk Service Center Inc 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011077913A (ja) * 2009-09-30 2011-04-14 Nhk Service Center Inc 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム
US20110080478A1 (en) * 2009-10-05 2011-04-07 Michinari Kohno Information processing apparatus, information processing method, and information processing system
JP2011081483A (ja) * 2009-10-05 2011-04-21 Sony Corp 情報処理装置、情報処理方法および情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
横山 正典、渡辺 浩志、木原 民雄: "エリア誘導型デジタルサイネージ「スプレッドアド」の構成法", 電子情報通信学会技術研究報告, vol. 110, no. 457, JPN6022015665, 28 February 2011 (2011-02-28), JP, pages 15 - 18, ISSN: 0004759768 *

Also Published As

Publication number Publication date
JP7192304B2 (ja) 2022-12-20

Similar Documents

Publication Publication Date Title
US20220303599A1 (en) Synchronizing Program Presentation
US11490132B2 (en) Dynamic viewpoints of live event
CN105491393A (zh) 多人视频直播业务的实现方法
KR101934200B1 (ko) 미디어 동기화 방법 및 시스템
US10673609B2 (en) Synchronization device, method, program and system
US20150093096A1 (en) Audio and video synchronization
WO2022019719A1 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
KR20130138213A (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
JP5574556B1 (ja) 視聴番組同定システム、方法およびプログラム
US10469886B2 (en) System and methods of synchronizing program reproduction on multiple geographically remote display systems
JP7192304B2 (ja) 処理装置、処理プログラムおよび処理方法
WO2018142515A1 (ja) コンテンツ配信方法、コンテンツ取得方法および情報処理端末
KR20150045001A (ko) 스마트 tv 기반의 감성광고 방법 및 감성광고 기능을 구비한 스마트 tv
WO2024057398A1 (ja) 提示映像調整装置、提示映像調整方法及び提示映像調整プログラム
TW201817245A (zh) 適應多元觀眾的多媒體呈現方法與系統
KR101453871B1 (ko) 감성광고를 위한 정보제공 기능을 구비한 스마트 tv

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R150 Certificate of patent or registration of utility model

Ref document number: 7192304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150