JP2017194509A - 表示端末装置、データ処理方法及びデータ処理プログラム - Google Patents
表示端末装置、データ処理方法及びデータ処理プログラム Download PDFInfo
- Publication number
- JP2017194509A JP2017194509A JP2016083164A JP2016083164A JP2017194509A JP 2017194509 A JP2017194509 A JP 2017194509A JP 2016083164 A JP2016083164 A JP 2016083164A JP 2016083164 A JP2016083164 A JP 2016083164A JP 2017194509 A JP2017194509 A JP 2017194509A
- Authority
- JP
- Japan
- Prior art keywords
- display
- output
- display device
- display data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000003111 delayed effect Effects 0.000 claims description 16
- 230000001934 delay Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 84
- 238000004364 calculation method Methods 0.000 description 72
- 230000008569 process Effects 0.000 description 53
- 230000005540 biological transmission Effects 0.000 description 23
- 230000015654 memory Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
マルチ画面コンテンツ表示システムでは、表示装置に表示端末装置が接続されている。表示端末装置は、表示装置と1対1の割合で接続されていてもよいし、表示装置p台(pは2以上)に対して1台の割合で接続されていてもよい。表示端末装置は、接続先の表示装置に表示データを出力する。表示端末装置が出力する表示データは、例えば、コンテンツ(静止画・動画・文字等)を構成するデータである。
複数台の表示装置で構成されるスクリーンでは、1つのコンテンツを表示させてもよいし、複数のコンテンツを表示領域を分けて同時に表示させてもよい。
また、表示端末装置は、制御サーバ装置に接続されている。制御サーバ装置は、各表示端末装置を制御する。
しかし、縦方向に配置されている表示装置間では、図12(a)に示す問題が生じる。図12(a)では、上段に配置されている表示装置32で表示される表示データが下段に配置されている表示装置31で表示される表示データに対して視覚的に1フレームずれて見える現象を示している。表示装置32に接続されている表示端末装置22が表示装置32に表示データを出力するタイミングと表示装置31に接続されている表示端末装置21が表示端末装置22に表示データを出力するタイミングが同期していても表示装置32と表示装置31とで表示データが1フレームずれて見えることがある。
これは、図12(b)に示すように、現在一般的な表示装置の場合、常に指定の更新間隔で画面を更新しているが、厳密には更新間隔辺り1周ずつ表示装置の画面上の最上段ラインから最下段ラインまで順に画像を走査して更新する。そのため、上下に積んだ表示装置間で繋がった動きのあるコンテンツを表示すると、上段の表示装置の下部の表示と下段表示装置の上部の表示が、視覚的に常時1フレームずれて見える問題が生じる。
図12(b)を参照してより具体的に説明する。なお、図12(b)では、横軸は時間推移を示す。また、縦軸は表示装置内の走査線の位置を示す。つまり、表示装置32の段の上端(符号320aで示される部分)は表示装置32の走査線の上端を示し、表示装置32の段の下端(符号320bで示される部分)は表示装置32の走査線の下端を示す。また、表示装置31の段の上端(符号310aで示される部分)は表示装置31の走査線の上端を示し、表示装置31の段の下端(符号310bで示される部分)は表示装置31の走査線の下端を示す。また、表示装置32の段と表示装置31の段において、同じハッチングの部分は表示装置32と表示装置31で同時に表示する1フレーム分の表示データを表している。例えば、符号321で示される部分と符号311で示される部分は、表示装置32と表示装置31で同時に表示する1フレーム分の表示データである。
表示装置32と表示装置31では、符号321の表示データの表示装置32の走査線の上端(符号320a)の走査と符号311の表示データの表示装置31の走査線の上端(符号310a)の走査が同時に開始される。表示装置32で走査線の下端(符号320b)の走査が行われる前に表示装置31で走査線の上端(符号310a)の走査が行われているため、符号321の表示データと比べて符号311の表示データが1フレーム分遅れて表示されているように見えることがある。
図12(b)では、表示装置32と表示装置31での表示のみを示しているが、表示装置33と表示装置34でも同じ現象が発生する。
つまり、図12(d)に示すように、表示装置32で走査線の下端(符号320b)の走査が行われた後に表示装置31で走査線の上端(符号310a)の走査が行われているため、符号321の表示データと符号311の表示データとがずれて見えるという現象は解消する。
しかしながら、全画面で表示内容が大きく変わる場合、特に主要色が大きく変わる場合、表示装置の画面更新間隔のq倍(qは表示装置の段数)の時間をかけて上から下に向かって画面が更新されるため、視覚的に切り替わりが目立つという課題がある。
すなわち、符号322の表示データ及び符号312の表示データで構成される画像の表示が完了するまでに、図12(d)の方法では、図12(b)の方法に比べて2倍の時間を要する。このため、符号321の表示データ及び符号311の表示データで構成される画像から符号322の表示データ及び符号312の表示データで構成される画像で表示内容が大きく変わる場合は、視覚的に切り替わりが目立つ。
表示装置に接続される表示端末装置であって、
前記表示装置に出力する表示データを、前記表示データに指定されている出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを判定する出力制御部と、
前記出力制御部により前記表示データを前記指定出力タイミングで前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングで前記表示装置に出力し、前記出力制御部により前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力する出力部とを有する。
その場合は、以下の説明の「縦」を「横」に、「横」を「縦」に、「上」及び「下」を「左」及び「右」(時計回りに90度回転した場合は「右」及び「左」)と読み替えるものとする。
***構成の説明***
図1は、本実施の形態に係るマルチ画面コンテンツ表示システムのシステム構成例を示す。
本実施の形態では、マルチ画面コンテンツ表示システムの構成の1例として、横2列縦2行の4面構成を用いて説明する。しかし、横方向に1列以上、縦方向に2列以上であれば、図1に示す配置に限らず、表示装置、表示端末装置の数も共に4台に限らない。また、画面配置は、マス目状に限らない。
但し、複数の表示装置が相互に隣接して配置されている必要がある。
制御サーバ装置10には、表示端末装置21、22、23、24が接続されている。
表示端末装置21、22、23、24は、それぞれコンピュータである。
表示端末装置21には、表示装置31が接続されている。表示端末装置22には、表示装置32が接続されている。表示端末装置23には、表示装置33が接続されている、表示端末装置24には、表示装置34が接続されている。
表示装置31、32、33、34は、それぞれディスプレイ装置である。
本実施の形態に係るマルチ画面コンテンツ表示システムでは、表示装置31、32、33、34が各々自身の担当領域の画像を表示することで、1つのスクリーンを構成する。
表示端末装置21、22、23、24は、制御サーバ装置10から制御命令を受信し、受信した制御命令に基づき、各々に接続している表示装置に出力する表示データの出力タイミングを制御する。
なお、以下では、表示端末装置21、22、23、24を代表して、表示端末装置21を説明するが、以下の表示端末装置21についての説明は、表示端末装置22、23、24にもあてはまる。つまり、以下の説明における「表示端末装置21」は、「表示端末装置22」、「表示端末装置23」、「表示端末装置24」に読み替えることができる。また、以下では、表示装置31、32、33、34を代表して、表示装置31を説明するが、以下の表示装置31についての説明は、表示装置32、33、34にもあてはまる。つまり、以下の説明における「表示装置31」は、「表示装置32」、「表示装置32」、「表示装置33」、「表示装置34」に読み替えることができる。
表示データは、図12(b)及び図12(d)に示す1フレーム分のデータ(符号321、322、311、312等のデータ)である。表示データは表示画像または画像ともいう。
また、図12(b)に示すように、コンテンツは、相互に関連付けられた複数の表示データで構成される。例えば、コンテンツは画像の集合で構成される動画である。表示端末装置21は、コンテンツを構成する複数の表示データを連続して表示装置31に出力する。
記憶装置73には、図3に示す制御命令送信部101及び画面間同期処理部102の機能を実現するプログラムが記憶されている。
そして、これらプログラムがメモリ72にロードされ、プロセッサ71がこれらプログラムを実行して、後述する制御命令送信部101及び画面間同期処理部102の動作を行う。
通信インタフェース74は、表示端末装置21と通信を行う。
記憶装置84には、図3に示す制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の機能を実現するプログラムが記憶されている。
そして、これらプログラムがメモリ82にロードされ、プロセッサ81がこれらプログラムを実行して、後述する制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の動作を行う。
なお、制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の動作のうちの一部をグラフィックスプロセッサ83が行うようにしてもよい。
通信インタフェース85は制御サーバ装置10と通信を行う。
表示インタフェース86は、表示装置31に表示データを出力する。
なお、表示端末装置22、23、24も、表示端末装置21と同様の機能構成を備える。
図示は省略しているが、表示端末装置22は、制御命令受信部221、制御命令展開部222、フレーム出力遅延時間算出部223、画面更新指示部224、画像生成表示部225、画面間同期処理部226を備えるものとする。
また、表示端末装置23は、制御命令受信部231、制御命令展開部232、フレーム出力遅延時間算出部233、画面更新指示部234、画像生成表示部235、画面間同期処理部236を備えるものとする。
また、表示端末装置24は、制御命令受信部241、制御命令展開部242、フレーム出力遅延時間算出部243、画面更新指示部244、画像生成表示部245、画面間同期処理部246を備えるものとする。
以下では、表示端末装置21の機能構成について説明を行うが、以下の説明は、表示端末装置22、23、24の機能構成についてもあてはまる。
制御命令には、コンテンツ情報とタイミング情報が含まれる。コンテンツ情報は、指定のコンテンツの識別情報であり、コンテンツ名、コンテンツデータ等が含まれる。タイミング情報は、指定のコンテンツを指定のタイミングに再生開始するための情報であり、再生開始予定時刻とフレーム出力遅延処理採否情報が含まれる。フレーム出力遅延処理採否情報は、フレーム出力遅延処理を行うかどうかを示すフラグ情報である。
フレーム出力遅延処理は、上段の表示装置が画像を表示するタイミングに対して下段の表示装置が画像を表示するタイミングを1フレーム遅らせる処理である。
また、本実施の形態では、コンテンツごとにフレーム出力遅延処理採否情報が指定される。
また、フレーム出力遅延時間算出部213は、先頭の表示データを再生開始予定時刻から遅延させて表示装置31に出力すると判定した場合に、再生開始予定時刻からの遅延時間であるフレーム出力遅延時間を算出する。以下、フレーム出力遅延時間を単に遅延時間ともいう。
フレーム出力遅延時間算出部213は、出力制御部の例に相当する。また、フレーム出力遅延時間算出部213により行われる処理は、出力制御ステップの例に相当する。
画像生成表示部215は、フレーム出力遅延時間算出部213により再生開始予定時刻にて表示データを表示装置31に出力すると判定された場合は、再生開始予定時刻にて表示データを表示装置31に出力する。一方、フレーム出力遅延時間算出部213により表示データを再生開始予定時刻から遅延させて表示装置31に出力すると判定された場合は、画像生成表示部215は、表示データを再生開始予定時刻から遅延時間分遅延させて表示装置31に出力する。
画像生成表示部215が遅延なく表示データを表示装置31に出力した場合は、表示装置31において図12(a)、(b)に示すように表示データが表示される。一方、画像生成表示部215が遅延時間分遅延させて表示データを表示装置31に出力した場合は、表示装置31において図12(c)、(d)に示すように表示データが表示される。
画像生成表示部215は、出力部の例に相当する。また、画像生成表示部215により行われる処理は、出力ステップの例に相当する。
次に、本実施の形態に係るマルチ画面コンテンツ表示システムの詳細な処理手順を図4、図5、図6を用いて説明する。
なお、図4に示す制御命令送信処理はコンテンツ単位で行われる。
前述したように、フレーム出力遅延処理採否情報は、フレーム出力遅延処理を適用するか否かを判断するためのフラグ情報である。
例えばコンテンツが静止画の場合は動きがないのでフレーム出力遅延処理は適用しない。一方、コンテンツが動画の場合は、フレーム出力遅延処理を適用するようにしてもよい。また、動画であっても、横方向の動きが速いケースが特に縦方向の画面間のずれが目立つので、その場合だけフレーム出力遅延処理を適用してもよい。また、これらの設定は手動で行ってもよいし、制御命令送信部101が、自動的にコンテンツデータの中身を解析して行ってもよい。動画の動きの速さであれば、一般的な動きベクトル生成手法で最も大きな動きベクトルの長さを閾値処理する等で設定できる。
また、コンテンツ情報や再生開始予定時刻、指定コンテンツに対するフレーム出力遅延処理の採否は、制御サーバ装置10の表示装置に表示された操作画面に対してユーザが入力装置を用いて指定してもよい。また、あらかじめ決まったスケジュールに基づき指定してもよい。
以上で、制御サーバ装置10での制御命令送信処理は完了である。
ST4では、制御命令展開部212が、制御命令受信部211で受信した制御命令を解析し、タイミング情報(再生開始予定時刻とフレーム出力遅延処理採否情報)とコンテンツ情報を抽出する。また、制御命令展開部212は、抽出したタイミング情報とコンテンツ情報を画像生成表示部215とフレーム出力遅延時間算出部213に渡す。
以上で、表示端末装置21での制御命令受信処理は完了である。
ステップST7では、画像生成表示部215が、次に再生するコンテンツに関する新たなコンテンツ情報とタイミング情報が存在するかを判断する。
存在する場合は、ステップST8が実行され、存在しない場合は、ステップST11が実行される。
なお、本実施の形態では、制御命令展開部212または画像生成表示部215がコマンドバッファを持つものとする。また、ステップST4で制御命令展開部212がコマンドバッファにコンテンツ情報とタイミング情報を書き込むものとする。ステップST7において、画像生成表示部215がコマンドバッファからコンテンツ情報とタイミング情報を取得する。そして、画像生成表示部215は、取得したタイミング情報が更新されているかを判断する。また、画像生成表示部215は、コマンドバッファからコンテンツ情報とタイミング情報を取得した後に必ずコンテンツ情報とタイミング情報を削除することとし、コンテンツ情報とタイミング情報を取得できたか否かでステップST7の判断を行ってもよい。
具体的には、フレーム出力遅延時間算出部213は、タイミング情報に含まれるフレーム出力遅延処理採否情報を参照して、フレーム出力遅延処理を適用するかどうかを判定する。
フレーム出力遅延処理を適用する場合は、ステップST9が実行され、フレーム出力遅延処理を適用しない場合は、ステップST10が実行される。
フレーム出力遅延処理は原則としてコンテンツに含まれる表示データのうちの最初の表示データに対して行うが、任意の位置の表示データにフレーム出力遅延処理を行うようにしてもよい。例えば、2番目の表示データにフレーム出力遅延処理を行うようにしてもよい。何番目の表示データに対してフレーム出力遅延処理を行うかはフレーム出力遅延処理採否情報で指定される。コンテンツが切り替わるときは、新たなコンテンツの表示画像と前のコンテンツの表示画像とが大きく異なっている場合が多いが、2番目の表示データに対してフレーム出力遅延処理を行うようにすれば、コンテンツの切り替わりが目立つ問題を解消できる。
なお、以下では、コンテンツの最初の表示データに対してフレーム出力遅延処理を行う場合を説明する。
フレーム出力遅延時間算出部213は、例えば、マルチ画面コンテンツ表示システムにおける縦方向の表示装置の行数Nと各表示端末装置が担当する表示装置の行数n、表示装置構成が2段の場合の1段下の表示装置のフレーム出力遅延時間Δdから得ることができる。例えば、中心の表示装置を指定時刻で再生開始する場合、n段目の表示装置S(n)のフレーム出力遅延時間d(n)は、下式(1)で求めることができる。
さらに、コンテンツのレイアウトからフレーム出力遅延時間d(n)を算出できるので、コンテンツごとに制御命令で再生制御を行う場合に、フレーム出力遅延時間算出部213は、フレーム出力遅延時間を個別に算出することができる。
なお、Δdは、表示端末装置が垂直同期信号のタイミングを制御できない一般的なコンピュータ等では1フレーム分(例えば60Hzの表示装置であれば、16.6666ms)である。ただし、表示端末装置自身が垂直同期信号のタイミングを調整できる場合はその限りではない。
フレーム出力遅延処理を適用しない場合(ST8でNO)は、次のコンテンツの表示時刻は、タイミング情報に示される再生開始予定時刻である。一方、フレーム出力遅延処理を適用する場合(ST8でYES)は、次のコンテンツの表示時刻は、再生開始予定時刻にST9で算出されたフレーム出力遅延時間を加算して得られる時刻である。
次のコンテンツの表示時刻が到来していれば(ST11でYES)、ステップST12が実行される。一方、次のコンテンツの表示時刻が到来していなければ(ST11でNO)、ステップST13が実行される。
例えば、スクリーン全体が、横方向W画素×縦方向H画素の解像度で、表示装置31、32、33、34が各々横方向W/2画素、縦方向H/2画素の解像度で、スクリーン上にW画素×H画素のコンテンツを表示する場合を想定する。スクリーン座標が全体の左上隅(図1において表示装置32の左上隅)を原点とした座標系とすると、画像生成表示部215は(0,H/2)からW/2×H/2の領域を担当領域として表示画像を生成する。また、画像生成表示部225は(0,0)からW/2×H/2の領域を担当領域として表示画像を生成する。また、画像生成表示部235は(W/2,0)からW/2×H/2の領域を担当領域として表示画像を生成する。また、画像生成表示部245は(W/2,H/2) からW/2×H/2の領域を担当領域として表示画像を生成する。
なお、ステップST12における第1フレームの画像の生成は、記憶装置84から読み出した第1フレームの画像を表示装置31で表示できる形式の表示画像に変換する処理である。
例えば、ステップST4で制御命令展開部212がコンテンツデータを読み込み、ステップST12で画像生成表示部215が読み込み済みのコンテンツデータから表示画像を生成してもよい。
また、2番目のフレーム以降の画像の場合は、ステップST7でNOになり、ステップST11で現在再生中のコンテンツの次のコンテンツの表示時刻が到来していないので、ステップST13で画像が生成され、ステップST14で表示装置31に出力される。
以上のように、本実施の形態によれば、下段の表示装置への表示データの出力を上段の表示装置への表示データの出力よりも1フレーム分遅らせて行うフレーム出力遅延処理の適用/非適用を、コンテンツの内容の特性に合わせて選択することで、より高品質なマルチ画面コンテンツ表示システムを実現することができる。
つまり、図12(a)のように、上段の表示装置の表示と下段の表示装置の表示が1フレーム分ずれているように認識されるような場合は、フレーム出力遅延処理を行うことで、上段の表示装置と下段の表示装置との間の表示のずれを解消することができる。
一方、主要色が大きく変わるような全画面で表示内容が大きく変わるような場合は、フレーム出力遅延処理を行うと、切り替わりが目立つため、フレーム出力遅延処理を行わないようにすることができる。
このように、本実施の形態によれば、表示データを指定出力タイミングで表示装置に出力するか、指定出力タイミングから遅延させて表示装置に出力するかを判定することにより、表示データを適切なタイミングで表示装置に表示させることができる。
なお、本実施の形態では、表示端末装置上にコンテンツデータを配置し、その識別情報をコンテンツ情報として扱ったが、制御サーバ装置上にコンテンツデータを配置して、制御サーバ装置からコンテンツデータをコンテンツ情報として制御命令に含めて送信してもよい。
実施の形態1では、コンテンツ単位でフレーム出力遅延処理の適用/非適用が指定されている、つまり、実施の形態1では、動画像単位で制御命令を送信している。本実施の形態では、画像単位で制御命令を送信する。つまり、本実施の形態では、表示データ単位でフレーム出力遅延処理の適用/非適用を指定する。
また、実施の形態1では、制御情報にタイミング情報としてコンテンツの再生開始予定時刻が含まれていたが、本実施の形態では、コンテンツ単位での制御ではないため、制御情報にタイミング情報として画像ごとの表示予定時刻が含まれる。
また、本実施の形態では、フレーム出力遅延処理を適用する場合は、表示端末装置は表示装置の画面配置あるいはスクリーン上のコンテンツの配置に基づき、フレーム出力遅延時間を算出する。適用しない場合は、フレーム出力遅延時間を算出せず、全表示端末装置が同時にそれぞれの表示画像を対応する表示装置に出力する。
本実施の形態でのシステム構成例及びハードウェア構成例は、図1及び図2に示す通りであり、説明を省略する。
また、本実施の形態における制御命令送信処理の処理手順は、図4と同様である。ただし、制御命令は、映像信号における画像ごとに送信される点が実施の形態1と異なる。
以下では、表示端末装置21での処理を説明するが、表示端末装置22、23、24でも同様の処理が行われる。なお、図7に示す処理手順は、データ処理方法及びデータ処理プログラムの例に相当する。
ステップST17では、画像生成表示部215が、次の表示画像を含む制御命令を受信済みかどうか判断する。
受信済みである場合は、ステップST18が実行され、受信済みでない場合は、ステップST21が実行される。
実施の形態1と同様に、制御命令にフレーム出力遅延処理採否情報を含ませ、フレーム出力遅延時間算出部213がフレーム出力遅延処理採否情報を参照することで、フレーム出力遅延処理を適用するかどうかを判定してもよい。
また、フレーム出力遅延処理採否情報を用いずに、フレーム出力遅延処理を適用するかどうかを判定してもよい。具体的には、フレーム出力遅延時間算出部213は、表示装置31に次に出力する表示画像(ST17で取得した制御命令に含まれる表示画像、以下、次出力表示データという)と、次出力表示データの1つ前に表示装置31に出力する表示画像(以下、前出力表示データという)とを比較する。そして、比較結果に基づき、次出力表示データを、次出力表示データの表示予定時刻に表示装置31に出力するか、次出力表示データの表示予定時刻から遅延させて表示装置31に出力するかを判定する。例えば、フレーム出力遅延時間算出部213は、比較の結果、次出力表示データと前出力表示データとの差異が既定レベル以上である場合に、次出力表示データを、次出力表示データの表示予定時刻に表示装置31に出力すると判定する。一方、次出力表示データと出力表示データとの差異が既定レベル未満である場合に、次出力表示データを、次出力表示データの表示予定時刻から遅延させて表示装置31に出力すると判定する。
より具体的には、フレーム出力遅延時間算出部213は、一般的なシーンチェンジ検出の手法を用いて、シーンチェンジを検出し、前出力表示データと次出力表示データでシーンが異なる場合は、次出力表示データではフレーム出力遅延処理を適用しないと判定する。シーンが異なる場合にフレーム出力遅延処理を適用しない理由は、映像が不連続となるため、動きの連続性よりも切替わりにかかる画面更新時間が長くなる現象の方が、品質に影響を与えるからである。
なお、シーンチェンジ検出の手法としては、例えば前後2つの画像のヒストグラムを求めて特徴量とし、特徴量の差異が閾値を超える場合にシーンが異なると判定する方法等が挙げられる。
また、フレーム出力遅延時間算出部213は、シーンチェンジではなく、前出力表示データと次出力表示データでの動きベクトルを検出し、主要オブジェクトの移動量が一定以上であるか、オブジェクトを追跡できなかった場合に、フレーム出力遅延処理を適用しないと判定してもよい。その際、走査線に水平な方向のみの移動量で評価してもよい。
フレーム出力遅延処理を適用しない場合(ST18でNO)は、次の表示画像の表示時刻は、タイミング情報に示される表示予定時刻である。一方、フレーム出力遅延処理を適用する場合(ST18でYES)は、次の表示画像の表示時刻は、表示予定時刻にST19で算出されたフレーム出力遅延時間を加算して得られる時刻である。
次の表示画像の表示時刻が到来していれば(ST21でYES)、ステップST22が実行される。一方、次の表示画像の表示時刻が到来していなければ(ST21でNO)、ステップST23が実行される。
なお、実施の形態1と同様に、コンテンツ単位で制御命令を送信する構成であっても、図6におけるST13の代わりに、図7におけるST18〜ST23までのうちST22、ST23を行うことで、ST18に示したような画像単位でフレーム出力遅延処理の適用/非適用を使い分け、より高品質なマルチ画面コンテンツ表示システムを実現することができる。
本実施の形態では、表示端末装置が他の表示端末装置で算出されたフレーム出力遅延時間を受信し、受信したフレーム出力遅延時間に基づいてフレーム出力遅延時間を算出する。また、表示端末装置は、算出したフレーム出力遅延時間を他の表示端末装置に送信する。
図8は、本実施の形態に係るマルチ画面コンテンツ表示システムのシステム構成例を示す。
本実施の形態では、スクリーンは表示装置31〜39の9台で構成される。つまり、本実施の形態では、9台の表示装置が横3列縦3行に配置されている。また、表示端末装置も、表示端末装置21〜29の9台である。なお、作図上の理由から、表示端末装置24〜28の図示は省略している。本実施の形態では、符号の下1桁が共通する表示端末装置と表示装置が接続されている。例えば、表示端末装置21と表示装置31とが接続されており、表示端末装置22と表示装置32とが接続されており、表示端末装置29と表示装置39が接続されている。
このように、表示端末装置に接続されている表示装置を接続先表示装置という。つまり、表示装置31は表示端末装置21の接続先表示装置であり、表示装置32は表示端末装置22の接続先表示装置であり、表示装置39は表示端末装置29の接続先表示装置である。
制御サーバ装置10の機能構成は、図3と同様であるため図示を省略している。
図9では、表示端末装置21、22、25の機能構成例を示している。
表示端末装置21、22、25の各々の機能構成は、図3に示したものと同様である。フレーム出力遅延時間算出部213、223、253以外の要素は、図3に示した同一名称の要素と同じであるため、説明を省略する。
表示端末装置21、22、25は、縦方向に配置されている表示装置31、32、35に接続されている。
フレーム出力遅延時間算出部213は、接続先表示装置である表示装置31の上段にある表示装置32に接続されている表示端末装置22のフレーム出力遅延時間算出部223からフレーム出力遅延時間を受信する。フレーム出力遅延時間算出部213がフレーム出力遅延時間算出部223から受信するフレーム出力遅延時間は、表示端末装置22が表示装置32に表示フレームを出力する際のフレーム出力遅延時間である。フレーム出力遅延時間算出部213は、受信したフレーム出力遅延時間に基づき、表示装置31に表示フレームを出力する際のフレーム出力遅延時間を算出する。また、フレーム出力遅延時間算出部213は、接続先表示装置である表示装置31の下段にある表示装置35に接続されている表示端末装置25のフレーム出力遅延時間算出部253へ算出したフレーム出力遅延時間を送信する。
このように、本実施の形態では、各表示端末装置のフレーム出力遅延時間算出部は、接続先表示装置(例えば表示装置31)の上段に配置されている表示装置(例えば表示装置32)に接続されている表示端末装置(例えば表示端末装置22)のフレーム出力遅延時間算出部からフレーム出力遅延時間を受信する。また、各表示端末装置のフレーム出力遅延時間算出部は、接続先表示装置(例えば表示装置31)の下段に配置されている表示装置(例えば表示装置35)に接続されている表示端末装置(例えば表示端末装置25)のフレーム出力遅延時間算出部に、算出したフレーム出力遅延時間を送信する。
換言すると、各表示端末装置のフレーム出力遅延時間算出部は、接続先表示装置(例えば表示装置31)の走査線に垂直の方向で、接続先表示装置の走査線のうち最先に表示が行われる走査線に最も近い接続先表示装置の辺に隣接している表示装置(例えば表示装置32)に接続される他の表示端末装置(例えば表示端末装置22)から遅延時間を受信する。また、各表示端末装置のフレーム出力遅延時間算出部は、接続先表示装置(例えば表示装置31)の走査線に垂直の方向で、接続先表示装置の走査線のうち最後に表示が行われる走査線に最も近い接続先表示装置の辺に隣接している表示装置(例えば表示装置35)に接続される他の表示端末装置(例えば表示端末装置25)に、算出した遅延時間を送信する。
なお、図9では、表示端末装置21、22、25の間でフレーム出力遅延時間を送受信することのみが示されているが、表示端末装置23、24、26の間でも同様にフレーム出力遅延時間を送受信し、表示端末装置29、28、27の間でも同様にフレーム出力遅延時間を送受信する。
本実施の形態における制御命令送信処理、制御命令受信処理の処理手順は図4、図5と同様であるので、説明を省略する。
本実施の形態におけるコンテンツ再生処理の処理手順は、ステップST9を除き図6と同様である。
図10は、本実施の形態におけるコンテンツ再生処理において、図6のステップST9で示したフレーム出力遅延時間算出処理部213における次のコンテンツの遅延時間算出処理の詳細なフローチャート図である。
表示装置31が最上段に配置されていなければ、ステップST27が実行され、表示装置31が最上段に配置されていれば、ステップST29が実行される。
より具体的には、フレーム出力遅延時間算出部213は、以下の手順に従ってフレーム出力遅延時間を算出する。
表示装置32をi番目の表示装置、表示装置31をj番目の表示装置、d(n)をn番目の表示装置のフレーム出力遅延時間とすると、表示装置31へ表示データを出力する際のフレーム出力遅延時間は式(3)で表すことができる。なお、Δdは、表示装置の構成が2段の場合の1段下の表示装置へ表示データを出力する際のフレーム出力遅延時間である。
表示装置31が最下段に配置されていなければ、ステップS31が実行され、表示装置31が最下段に配置されていれば、処理が終了する。
表示端末装置25のフレーム出力遅延時間算出部253では、ステップST26でNOとなり、ステップST27で表示端末装置21のフレーム出力遅延時間算出部213からフレーム出力遅延時間を取得し、ステップST28でフレーム出力遅延時間を算出し、ST30でYESとなり、処理を終了する。
以上より、実施の形態1と異なり、上段の表示端末装置に対するフレーム出力遅延時間に基づいて自身の表示装置に対するフレーム出力遅延時間を算出することにより、各表示端末装置は上下に接する表示装置に接続された表示端末装置を認識できていれば、マルチ画面コンテンツ表示システム全体の表示装置の配置の情報を取得する必要なく、コンテンツに応じて下段の表示装置への表示データの出力を上段の表示装置への表示データの出力よりも1フレーム分遅らせて行うフレーム出力遅延処理の適用/非適用を選択し、より高品質なマルチ画面コンテンツ表示システムを得ることができる。
なお、実施の形態3で説明した方式は、「次のコンテンツ」を「次の表示画像」に読み替えることで、実施の形態2のステップST19に適用できる。
また、実施の形態3で説明した方式を実施の形態2に適用することで、実施の形態2のST18では、画像生成表示部215で生成するコンテンツの表示領域のみを比較して特徴量を求め、評価し、フレーム出力遅延処理を適用するか否かを判定することも可能となる。さらに、特徴量を求める対象領域が、上段の表示装置32に近い、表示装置31の上方の領域だけであってもよい。
あるいは、これらの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、2つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
***ハードウェア構成の説明***
最後に、ハードウェア構成の補足説明を行う。
図2に示すプロセッサ71、81は、プロセッシングを行うIC(Integrated Circuit)である。
プロセッサ71、81は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等である。
グラフィックスプロセッサ83は、GPU(Graphics Processing Unit)等である。
メモリ72、82は、RAM(Random Access Memory)である。
記憶装置73、84は、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等である。
通信インタフェース74、85は、例えば、通信チップ又はNIC(Network Interface Card)である。
表示インタフェース86は、表示装置31と接続された回路である。
そして、OSの少なくとも一部がプロセッサ71、81により実行される。
プロセッサ71はOSの少なくとも一部を実行しながら、制御命令送信部101及び画面間同期処理部102の機能を実現するプログラムを実行する。
また、プロセッサ81はOSの少なくとも一部を実行しながら、制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の機能を実現するプログラムを実現する。
プロセッサ71、81がOSを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、制御サーバ装置10での処理の結果を示す情報やデータや信号値や変数値が、メモリ72、記憶装置73、又はプロセッサ71内のレジスタ又はキャッシュメモリに記憶される。
また、表示端末装置21での処理の結果を示す情報やデータや信号値や変数値が、メモリ82、記憶装置84、又はプロセッサ81内のレジスタ又はキャッシュメモリに記憶される。
また、制御命令送信部101及び画面間同期処理部102の機能を実現するプログラム、制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記憶媒体に記憶されてもよい。
なお、プロセッサ71、81及び上記の電子回路を総称してプロセッシングサーキットリーともいう。
Claims (14)
- 表示装置に接続される表示端末装置であって、
前記表示装置に出力する表示データを、前記表示データに指定されている出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを判定する出力制御部と、
前記出力制御部により前記表示データを前記指定出力タイミングで前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングで前記表示装置に出力し、前記出力制御部により前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力する出力部とを有する表示端末装置。 - 前記出力制御部は、
前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定した場合に、前記指定出力タイミングからの遅延時間を算出し、
前記出力部は、
前記出力制御部により前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記指定出力タイミングから前記遅延時間分遅延させて前記表示データを前記表示装置に出力する請求項1に記載の表示端末装置。 - 前記出力制御部は、
連続して前記表示装置に出力する複数の表示データのうちの任意の位置の表示データを、当該表示データの指定出力タイミングで前記表示装置に出力するか、遅延させて前記表示装置に出力するかを判定する請求項1に記載の表示端末装置。 - 前記出力制御部は、
前記複数の表示データのうちの先頭の表示データを、当該先頭の表示データの指定出力タイミングで前記表示装置に出力するか、遅延させて前記表示装置に出力するかを判定する請求項3に記載の表示端末装置。 - 前記出力制御部は、
表示データごとに、各表示データを、各表示データの指定出力タイミングで前記表示装置に出力するか、各表示データの指定出力タイミングから遅延させて前記表示装置に出力するかを判定する請求項1に記載の表示端末装置。 - 前記出力制御部は、
前記表示装置に次に出力する次出力表示データと、前記次出力表示データの1つ前に前記表示装置に出力する前出力表示データとを比較し、比較結果に基づき、前記次出力表示データを、前記次出力表示データの指定出力タイミングで前記表示装置に出力するか、前記次出力表示データの指定出力タイミングから遅延させて前記表示装置に出力するかを判定する請求項1に記載の表示端末装置。 - 前記出力制御部は、
前記次出力表示データと前記前出力表示データとの比較の結果、前記次出力表示データと前記前出力表示データとの差異が既定レベル以上である場合に、前記次出力表示データを、前記次出力表示データの指定出力タイミングで前記表示装置に出力すると判定し、前記次出力表示データと前記前出力表示データとの差異が前記既定レベル未満である場合に、前記次出力表示データを、前記次出力表示データの指定出力タイミングから遅延させて前記表示装置に出力すると判定する請求項6に記載の表示端末装置。 - 前記出力制御部は、
他の表示端末装置が前記他の表示端末装置に接続する表示装置に表示データを出力する際の遅延時間を前記他の表示端末装置から受信し、前記他の表示端末装置から受信した遅延時間に基づき、前記指定出力タイミングからの遅延時間を算出する請求項2に記載の表示端末装置。 - 前記出力制御部は、
算出した遅延時間を、前記他の表示端末装置とは異なる他の表示端末装置に送信する請求項8に記載の表示端末装置。 - 前記表示装置は、
相互に隣接して配置される複数の表示装置のうちのいずれかの表示装置に接続され、
前記出力制御部は、
接続先の表示装置である接続先表示装置の走査線に垂直の方向で、前記接続先表示装置の走査線のうち最先に表示が行われる走査線に最も近い前記接続先表示装置の辺に隣接している表示装置に接続される他の表示端末装置から遅延時間を受信する請求項8に記載の表示端末装置。 - 前記出力制御部は、
前記接続先表示装置の走査線に垂直の方向で、前記接続先表示装置の走査線のうち最後に表示が行われる走査線に最も近い前記接続先表示装置の辺に隣接している表示装置に接続される他の表示端末装置に、算出した遅延時間を送信する請求項10に記載の表示端末装置。 - 前記表示装置は、
相互に隣接して配置される複数の表示装置のうちのいずれかの表示装置に接続され、
前記出力制御部は、
接続先の表示装置である接続先表示装置に出力する表示データを、前記複数の表示装置で共通する出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを判定する請求項1に記載の表示端末装置。 - 表示装置に接続されるコンピュータが行うデータ処理方法であって、
前記表示装置に出力する表示データを、前記表示データに指定されている出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを前記コンピュータが判定する出力制御ステップと、
前記出力制御ステップにより前記表示データを前記指定出力タイミングで前記表示装置に出力すると判定された場合に、前記コンピュータが前記表示データを前記指定出力タイミングで前記表示装置に出力し、前記出力制御ステップにより前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記コンピュータが前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力する出力ステップとを有するデータ処理方法。 - 表示装置に接続されるコンピュータに、
前記表示装置に出力する表示データを、前記表示データに指定されている出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを判定する出力制御ステップと、
前記出力制御ステップにより前記表示データを前記指定出力タイミングで前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングで前記表示装置に出力し、前記出力制御ステップにより前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力する出力ステップとを実行させるデータ処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016083164A JP6598726B2 (ja) | 2016-04-18 | 2016-04-18 | 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016083164A JP6598726B2 (ja) | 2016-04-18 | 2016-04-18 | 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017194509A true JP2017194509A (ja) | 2017-10-26 |
JP2017194509A5 JP2017194509A5 (ja) | 2018-09-13 |
JP6598726B2 JP6598726B2 (ja) | 2019-10-30 |
Family
ID=60155542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016083164A Active JP6598726B2 (ja) | 2016-04-18 | 2016-04-18 | 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6598726B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021124729A1 (ja) * | 2019-12-17 | 2021-06-24 | パナソニックIpマネジメント株式会社 | 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム |
US11842670B2 (en) | 2020-06-23 | 2023-12-12 | Samsung Electronics Co., Ltd. | Electronic device for dynamically adjusting refresh rate of display |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0213076A (ja) * | 1988-06-29 | 1990-01-17 | Pioneer Electron Corp | テレビジョン信号受信装置 |
JP2008234333A (ja) * | 2007-03-20 | 2008-10-02 | Sony Corp | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム |
JP2010252117A (ja) * | 2009-04-16 | 2010-11-04 | Sharp Corp | フレームレート変換装置、フレームレート変換方法、動画像表示装置、フレームレート変換プログラムおよび記録媒体 |
JP2014127899A (ja) * | 2012-12-27 | 2014-07-07 | Panasonic Corp | 映像表示装置 |
WO2015083269A1 (ja) * | 2013-12-05 | 2015-06-11 | Necディスプレイソリューションズ株式会社 | 画像表示装置、画像表示システム及び画像表示方法 |
US20160104455A1 (en) * | 2014-10-13 | 2016-04-14 | Wistron Corporation | Display matrix, display device and associated display method |
-
2016
- 2016-04-18 JP JP2016083164A patent/JP6598726B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0213076A (ja) * | 1988-06-29 | 1990-01-17 | Pioneer Electron Corp | テレビジョン信号受信装置 |
JP2008234333A (ja) * | 2007-03-20 | 2008-10-02 | Sony Corp | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム |
JP2010252117A (ja) * | 2009-04-16 | 2010-11-04 | Sharp Corp | フレームレート変換装置、フレームレート変換方法、動画像表示装置、フレームレート変換プログラムおよび記録媒体 |
JP2014127899A (ja) * | 2012-12-27 | 2014-07-07 | Panasonic Corp | 映像表示装置 |
WO2015083269A1 (ja) * | 2013-12-05 | 2015-06-11 | Necディスプレイソリューションズ株式会社 | 画像表示装置、画像表示システム及び画像表示方法 |
US20160104455A1 (en) * | 2014-10-13 | 2016-04-14 | Wistron Corporation | Display matrix, display device and associated display method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021124729A1 (ja) * | 2019-12-17 | 2021-06-24 | パナソニックIpマネジメント株式会社 | 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム |
JPWO2021124729A1 (ja) * | 2019-12-17 | 2021-06-24 | ||
JP7174926B2 (ja) | 2019-12-17 | 2022-11-18 | パナソニックIpマネジメント株式会社 | 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム |
US11842670B2 (en) | 2020-06-23 | 2023-12-12 | Samsung Electronics Co., Ltd. | Electronic device for dynamically adjusting refresh rate of display |
Also Published As
Publication number | Publication date |
---|---|
JP6598726B2 (ja) | 2019-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7460126B2 (en) | Scalable method and system for streaming high-resolution media | |
WO2022048097A1 (zh) | 一种基于多显卡的单帧画面实时渲染方法 | |
JP4346591B2 (ja) | 映像処理装置、映像処理方法およびプログラム | |
US10412320B1 (en) | Method and system for switching display from first video source to second video source | |
JP2007228334A (ja) | 動画像制御装置および方法並びにプログラム | |
EP3021213A1 (en) | Display apparatus and display methods thereof | |
JP6598726B2 (ja) | 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム | |
JP2006195525A (ja) | 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム | |
WO2011077550A1 (ja) | 画面中継装置 | |
JP2011002882A (ja) | 撮像装置、画像処理プログラム、および撮像方法 | |
JP4731827B2 (ja) | マルチ画面映像表示装置及びマルチ画面映像表示方法 | |
JP4675944B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
TWI249353B (en) | Method and apparatus for scaling image in horizontal and vertical directions | |
JP6422620B2 (ja) | 表示制御装置、表示制御方法及び表示制御プログラム | |
CN114452645B (zh) | 生成场景图像的方法、设备和存储介质 | |
JP5676924B2 (ja) | 投影装置及び投影方法 | |
JP6864757B2 (ja) | 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体 | |
KR20060107072A (ko) | 알파 평면을 이용한 영상 데이터 처리 장치 및 방법 | |
JP4546810B2 (ja) | 軌跡付加映像生成装置及び軌跡付加映像生成プログラム | |
CN111699672B (zh) | 视频控制装置和视频控制方法 | |
JP5176613B2 (ja) | 映像信号処理装置、映像信号処理方法およびコンピュータプログラム | |
WO2022137324A1 (ja) | 映像信号を合成する装置、方法及びプログラム | |
US20230412872A1 (en) | Stream region replacements | |
JP6040217B2 (ja) | 投影装置及び投影方法 | |
JP2012044478A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6598726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |