JP2017194509A - 表示端末装置、データ処理方法及びデータ処理プログラム - Google Patents

表示端末装置、データ処理方法及びデータ処理プログラム Download PDF

Info

Publication number
JP2017194509A
JP2017194509A JP2016083164A JP2016083164A JP2017194509A JP 2017194509 A JP2017194509 A JP 2017194509A JP 2016083164 A JP2016083164 A JP 2016083164A JP 2016083164 A JP2016083164 A JP 2016083164A JP 2017194509 A JP2017194509 A JP 2017194509A
Authority
JP
Japan
Prior art keywords
display
output
display device
display data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016083164A
Other languages
English (en)
Other versions
JP6598726B2 (ja
JP2017194509A5 (ja
Inventor
泰範 椿
Yasunori Tsubaki
泰範 椿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016083164A priority Critical patent/JP6598726B2/ja
Publication of JP2017194509A publication Critical patent/JP2017194509A/ja
Publication of JP2017194509A5 publication Critical patent/JP2017194509A5/ja
Application granted granted Critical
Publication of JP6598726B2 publication Critical patent/JP6598726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】表示データを適切なタイミングで表示装置に表示させることが可能な構成を実現する。【解決手段】出力制御部は、表示装置31に出力する表示データを、表示データに指定されている出力タイミングである指定出力タイミングで表示装置31に出力するか、指定出力タイミングから遅延させて表示装置31に出力するかを判定する。出力部は、出力制御部により表示データを指定出力タイミングで表示装置31に出力すると判定された場合に、表示データを指定出力タイミングで表示装置に出力し、出力制御部により表示データを指定出力タイミングから遅延させて表示装置31に出力すると判定された場合に、表示データを指定出力タイミングから遅延させて表示装置31に出力する。【選択図】図3

Description

本発明は、表示装置に表示データを出力するタイミングを制御する技術に関する。
以下では、図1に示すように、複数台の表示装置を相互に隣接させてタイル状に配置して1つの大きなスクリーンを構成するマルチ画面コンテンツ表示システムを説明する。
マルチ画面コンテンツ表示システムでは、表示装置に表示端末装置が接続されている。表示端末装置は、表示装置と1対1の割合で接続されていてもよいし、表示装置p台(pは2以上)に対して1台の割合で接続されていてもよい。表示端末装置は、接続先の表示装置に表示データを出力する。表示端末装置が出力する表示データは、例えば、コンテンツ(静止画・動画・文字等)を構成するデータである。
複数台の表示装置で構成されるスクリーンでは、1つのコンテンツを表示させてもよいし、複数のコンテンツを表示領域を分けて同時に表示させてもよい。
また、表示端末装置は、制御サーバ装置に接続されている。制御サーバ装置は、各表示端末装置を制御する。
このマルチ画面コンテンツ表示システムでは、各表示端末装置が独立に動作するため、表示端末装置ごとの表示がずれてしまう表示同期問題が発生するという課題がある。特許文献1では、この表示同期問題を解消するための技術が開示されている。
しかし、縦方向に配置されている表示装置間では、図12(a)に示す問題が生じる。図12(a)では、上段に配置されている表示装置32で表示される表示データが下段に配置されている表示装置31で表示される表示データに対して視覚的に1フレームずれて見える現象を示している。表示装置32に接続されている表示端末装置22が表示装置32に表示データを出力するタイミングと表示装置31に接続されている表示端末装置21が表示端末装置22に表示データを出力するタイミングが同期していても表示装置32と表示装置31とで表示データが1フレームずれて見えることがある。
これは、図12(b)に示すように、現在一般的な表示装置の場合、常に指定の更新間隔で画面を更新しているが、厳密には更新間隔辺り1周ずつ表示装置の画面上の最上段ラインから最下段ラインまで順に画像を走査して更新する。そのため、上下に積んだ表示装置間で繋がった動きのあるコンテンツを表示すると、上段の表示装置の下部の表示と下段表示装置の上部の表示が、視覚的に常時1フレームずれて見える問題が生じる。
図12(b)を参照してより具体的に説明する。なお、図12(b)では、横軸は時間推移を示す。また、縦軸は表示装置内の走査線の位置を示す。つまり、表示装置32の段の上端(符号320aで示される部分)は表示装置32の走査線の上端を示し、表示装置32の段の下端(符号320bで示される部分)は表示装置32の走査線の下端を示す。また、表示装置31の段の上端(符号310aで示される部分)は表示装置31の走査線の上端を示し、表示装置31の段の下端(符号310bで示される部分)は表示装置31の走査線の下端を示す。また、表示装置32の段と表示装置31の段において、同じハッチングの部分は表示装置32と表示装置31で同時に表示する1フレーム分の表示データを表している。例えば、符号321で示される部分と符号311で示される部分は、表示装置32と表示装置31で同時に表示する1フレーム分の表示データである。
表示装置32と表示装置31では、符号321の表示データの表示装置32の走査線の上端(符号320a)の走査と符号311の表示データの表示装置31の走査線の上端(符号310a)の走査が同時に開始される。表示装置32で走査線の下端(符号320b)の走査が行われる前に表示装置31で走査線の上端(符号310a)の走査が行われているため、符号321の表示データと比べて符号311の表示データが1フレーム分遅れて表示されているように見えることがある。
図12(b)では、表示装置32と表示装置31での表示のみを示しているが、表示装置33と表示装置34でも同じ現象が発生する。
図12(a)及び図12(b)に示す問題を解消する手法の1つとして、下段の表示装置の表示データを上段に比べて1フレーム遅らせて表示する方法がある。特許文献2では、表示端末装置が縦方向の全表示装置の画面数と担当表示装置の位置から算出した遅延時間に基づいて同期信号を生成し、表示画像を遅らせて表示させることで、図12(c)及び(d)に示すように、本現象を解消している。
つまり、図12(d)に示すように、表示装置32で走査線の下端(符号320b)の走査が行われた後に表示装置31で走査線の上端(符号310a)の走査が行われているため、符号321の表示データと符号311の表示データとがずれて見えるという現象は解消する。
特許5717594号 国際公開WO2015/083269号
特許文献2の技術、つまり下段の表示装置で表示される表示データを1フレーム分遅らせて表示する方法は、画面を跨るオブジェクトが走査線と平行な方向へ移動する動きをするコンテンツを表示する場合に効果的である。
しかしながら、全画面で表示内容が大きく変わる場合、特に主要色が大きく変わる場合、表示装置の画面更新間隔のq倍(qは表示装置の段数)の時間をかけて上から下に向かって画面が更新されるため、視覚的に切り替わりが目立つという課題がある。
すなわち、符号322の表示データ及び符号312の表示データで構成される画像の表示が完了するまでに、図12(d)の方法では、図12(b)の方法に比べて2倍の時間を要する。このため、符号321の表示データ及び符号311の表示データで構成される画像から符号322の表示データ及び符号312の表示データで構成される画像で表示内容が大きく変わる場合は、視覚的に切り替わりが目立つ。
そこで、本発明は、上記の課題を解決し、表示データを適切なタイミングで表示装置に表示させることが可能な構成を実現することを主な目的とする。
本発明に係る表示端末装置は、
表示装置に接続される表示端末装置であって、
前記表示装置に出力する表示データを、前記表示データに指定されている出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを判定する出力制御部と、
前記出力制御部により前記表示データを前記指定出力タイミングで前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングで前記表示装置に出力し、前記出力制御部により前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力する出力部とを有する。
本発明によれば、表示データを指定出力タイミングで表示装置に出力するか、指定出力タイミングから遅延させて表示装置に出力するかを判定するため、表示データを適切なタイミングで表示装置に表示させることができる。
実施の形態1に係るマルチ画面コンテンツ表示システムのシステム構成例を示す図。 実施の形態1に係る制御サーバ装置及び表示端末装置のハードウェア構成例を示す図。 実施の形態1に係る制御サーバ装置及び表示端末装置の機能構成例を示す図。 実施の形態1に係る制御サーバ装置の制御命令送信処理の処理手順を示すフローチャート図。 実施の形態1に係る表示端末装置の制御命令受信処理の処理手順を示すフローチャート図。 実施の形態1に係る表示端末装置のコンテンツ再生処理の処理手順を示すフローチャート図。 実施の形態2に係る表示端末装置のコンテンツ再生処理の処理手順を示すフローチャート図。 実施の形態3に係るマルチ画面コンテンツ表示システムのシステム構成例を示す図。 実施の形態3に係る表示端末装置の機能構成例を示す図。 実施の形態3に係る表示端末装置の遅延時間算出処理の処理手順を示すフローチャート図。 実施の形態3に係る表示端末装置の機能構成例を示す図。 従来のマルチ画面コンテンツ表示システムでの表示態様を示す図。
以下では、説明を容易にするために、横ラインを縦に走査するように画像を表示する表示装置を縦方向に配列した場合を例に挙げる。しかし、例えば同様の表示装置を同じ方向に90度回転させ、横方向に配列した場合も上述した課題と同様の課題が発生する。
その場合は、以下の説明の「縦」を「横」に、「横」を「縦」に、「上」及び「下」を「左」及び「右」(時計回りに90度回転した場合は「右」及び「左」)と読み替えるものとする。
実施の形態1.
***構成の説明***
図1は、本実施の形態に係るマルチ画面コンテンツ表示システムのシステム構成例を示す。
本実施の形態では、マルチ画面コンテンツ表示システムの構成の1例として、横2列縦2行の4面構成を用いて説明する。しかし、横方向に1列以上、縦方向に2列以上であれば、図1に示す配置に限らず、表示装置、表示端末装置の数も共に4台に限らない。また、画面配置は、マス目状に限らない。
但し、複数の表示装置が相互に隣接して配置されている必要がある。
制御サーバ装置10は、マルチ画面コンテンツ表示システムを制御するコンピュータである。
制御サーバ装置10には、表示端末装置21、22、23、24が接続されている。
表示端末装置21、22、23、24は、それぞれコンピュータである。
表示端末装置21には、表示装置31が接続されている。表示端末装置22には、表示装置32が接続されている。表示端末装置23には、表示装置33が接続されている、表示端末装置24には、表示装置34が接続されている。
表示装置31、32、33、34は、それぞれディスプレイ装置である。
本実施の形態に係るマルチ画面コンテンツ表示システムでは、表示装置31、32、33、34が各々自身の担当領域の画像を表示することで、1つのスクリーンを構成する。
表示端末装置21、22、23、24は、制御サーバ装置10から制御命令を受信し、受信した制御命令に基づき、各々に接続している表示装置に出力する表示データの出力タイミングを制御する。
なお、以下では、表示端末装置21、22、23、24を代表して、表示端末装置21を説明するが、以下の表示端末装置21についての説明は、表示端末装置22、23、24にもあてはまる。つまり、以下の説明における「表示端末装置21」は、「表示端末装置22」、「表示端末装置23」、「表示端末装置24」に読み替えることができる。また、以下では、表示装置31、32、33、34を代表して、表示装置31を説明するが、以下の表示装置31についての説明は、表示装置32、33、34にもあてはまる。つまり、以下の説明における「表示装置31」は、「表示装置32」、「表示装置32」、「表示装置33」、「表示装置34」に読み替えることができる。
表示データは、図12(b)及び図12(d)に示す1フレーム分のデータ(符号321、322、311、312等のデータ)である。表示データは表示画像または画像ともいう。
また、図12(b)に示すように、コンテンツは、相互に関連付けられた複数の表示データで構成される。例えば、コンテンツは画像の集合で構成される動画である。表示端末装置21は、コンテンツを構成する複数の表示データを連続して表示装置31に出力する。
図2は、本実施の形態に係る制御サーバ装置10及び表示端末装置21のハードウェア構成例を示す。
制御サーバ装置10は、プロセッサ71、メモリ72、記憶装置73、通信インタフェース74から構成される。
記憶装置73には、図3に示す制御命令送信部101及び画面間同期処理部102の機能を実現するプログラムが記憶されている。
そして、これらプログラムがメモリ72にロードされ、プロセッサ71がこれらプログラムを実行して、後述する制御命令送信部101及び画面間同期処理部102の動作を行う。
通信インタフェース74は、表示端末装置21と通信を行う。
表示端末装置21は、プロセッサ81、メモリ82、グラフィックスプロセッサ83、記憶装置84、通信インタフェース85、表示インタフェース86から構成される。
記憶装置84には、図3に示す制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の機能を実現するプログラムが記憶されている。
そして、これらプログラムがメモリ82にロードされ、プロセッサ81がこれらプログラムを実行して、後述する制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の動作を行う。
なお、制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の動作のうちの一部をグラフィックスプロセッサ83が行うようにしてもよい。
通信インタフェース85は制御サーバ装置10と通信を行う。
表示インタフェース86は、表示装置31に表示データを出力する。
なお、図2のハードウェア構成は一例であり、制御サーバ装置10及び表示端末装置21は、図3のハードウェア構成以外のハードウェア構成であってもよい。例えば、図3の制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216のうちの一部をプロセッサ81とは異なる専用プロセッサで実現するようにしてもよい。また、グラフィックスプロセッサ83をプロセッサ81が兼ねてもよい。また、メモリ82の他に、ビデオメモリが設けられていてもよい。
なお、本実施の形態では、表示端末装置21の記憶装置84にコンテンツデータ(静止画ファイル、動画ファイル、あるいは、それら複数を1コンテンツとして結合するためのコンテンツ内におけるレイアウト情報も含む)と、表示装置31の配置情報、表示装置31の解像度等を記憶するものとする。
図3は、本実施の形態に係る制御サーバ装置10及び表示端末装置21の機能構成例を示す。
制御サーバ装置10は、制御命令送信部101と画面間同期処理部102を備える。
表示端末装置21は、制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215、画面間同期処理部216を備える。
なお、表示端末装置22、23、24も、表示端末装置21と同様の機能構成を備える。
図示は省略しているが、表示端末装置22は、制御命令受信部221、制御命令展開部222、フレーム出力遅延時間算出部223、画面更新指示部224、画像生成表示部225、画面間同期処理部226を備えるものとする。
また、表示端末装置23は、制御命令受信部231、制御命令展開部232、フレーム出力遅延時間算出部233、画面更新指示部234、画像生成表示部235、画面間同期処理部236を備えるものとする。
また、表示端末装置24は、制御命令受信部241、制御命令展開部242、フレーム出力遅延時間算出部243、画面更新指示部244、画像生成表示部245、画面間同期処理部246を備えるものとする。
以下では、表示端末装置21の機能構成について説明を行うが、以下の説明は、表示端末装置22、23、24の機能構成についてもあてはまる。
制御命令送信部101は、制御命令を生成し、通信インタフェース74を介して制御命令を表示端末装置21に送信する。
制御命令には、コンテンツ情報とタイミング情報が含まれる。コンテンツ情報は、指定のコンテンツの識別情報であり、コンテンツ名、コンテンツデータ等が含まれる。タイミング情報は、指定のコンテンツを指定のタイミングに再生開始するための情報であり、再生開始予定時刻とフレーム出力遅延処理採否情報が含まれる。フレーム出力遅延処理採否情報は、フレーム出力遅延処理を行うかどうかを示すフラグ情報である。
フレーム出力遅延処理は、上段の表示装置が画像を表示するタイミングに対して下段の表示装置が画像を表示するタイミングを1フレーム遅らせる処理である。
また、本実施の形態では、コンテンツごとにフレーム出力遅延処理採否情報が指定される。
制御命令受信部211は、通信インタフェース85を介して、制御命令送信部101から送信された制御命令を受信する。
制御命令展開部212は、制御命令受信部211が受信した制御命令からタイミング情報とコンテンツ情報を抽出する。
フレーム出力遅延時間算出部213は、制御命令展開部212から得たタイミング情報内のフレーム出力遅延処理採否情報を参照して、フレーム出力遅延処理を行うか否かを判定する。本実施の形態では、フレーム出力遅延時間算出部213は、コンテンツの先頭の表示データを、当該先頭の表示データに指定されている出力タイミングである再生開始予定時刻(指定出力タイミングの例)で表示装置31に出力するか、再生開始予定時刻から遅延させて表示装置31に出力するかを判定する。
また、フレーム出力遅延時間算出部213は、先頭の表示データを再生開始予定時刻から遅延させて表示装置31に出力すると判定した場合に、再生開始予定時刻からの遅延時間であるフレーム出力遅延時間を算出する。以下、フレーム出力遅延時間を単に遅延時間ともいう。
フレーム出力遅延時間算出部213は、出力制御部の例に相当する。また、フレーム出力遅延時間算出部213により行われる処理は、出力制御ステップの例に相当する。
画面更新指示部214は、垂直同期信号を検出し、画像生成表示部215に次のフレームの表示データを生成する指示を与える。
画像生成表示部215は、画面更新指示部214からの指示を受け、制御命令展開部212から得たコンテンツ情報から、次のフレームで表示する表示データを確定し、表示データ(画像)を生成する。そして、画像生成表示部215は、生成した表示データを表示インタフェース86を介して表示装置31に出力する。
画像生成表示部215は、フレーム出力遅延時間算出部213により再生開始予定時刻にて表示データを表示装置31に出力すると判定された場合は、再生開始予定時刻にて表示データを表示装置31に出力する。一方、フレーム出力遅延時間算出部213により表示データを再生開始予定時刻から遅延させて表示装置31に出力すると判定された場合は、画像生成表示部215は、表示データを再生開始予定時刻から遅延時間分遅延させて表示装置31に出力する。
画像生成表示部215が遅延なく表示データを表示装置31に出力した場合は、表示装置31において図12(a)、(b)に示すように表示データが表示される。一方、画像生成表示部215が遅延時間分遅延させて表示データを表示装置31に出力した場合は、表示装置31において図12(c)、(d)に示すように表示データが表示される。
画像生成表示部215は、出力部の例に相当する。また、画像生成表示部215により行われる処理は、出力ステップの例に相当する。
画面間同期処理部102及び画面間同期処理部216は、画面更新指示部214、画像生成表示部215に対して同一の垂直同期信号を認識させる処理を行う。この同一の垂直同期信号を認識させる処理は、一般的な処理のいずれも用いることができる。例えば、制御サーバ装置10を基準として時刻や垂直同期信号を全表示端末装置で同期させ、制御命令で用いる再生開始予定時刻として、制御サーバ装置10の時刻や垂直同期信号のカウントなどを用いるため、制御命令送信部101に時刻等を与える等が挙げられる。
***動作の説明***
次に、本実施の形態に係るマルチ画面コンテンツ表示システムの詳細な処理手順を図4、図5、図6を用いて説明する。
図4は、制御サーバ装置10における制御命令送信処理の処理手順を示すフローチャート図である。最初に、図4を参照して、制御サーバ装置10における制御命令送信処理の処理手順を説明する。
なお、図4に示す制御命令送信処理はコンテンツ単位で行われる。
ステップST1では、制御命令送信部101が、制御命令を生成する。より具体的には、制御命令送信部101は、指定されたコンテンツのコンテンツ情報(表示端末装置の記憶装置上に保存されたコンテンツデータを指定する情報)を取得する。また、御命令送信部101は、前記コンテンツの再生を開始する予定時刻である再生開始予定時刻、フレーム出力遅延処理を行うかどうかを示すフレーム出力遅延処理採否情報を取得する。そして、制御命令送信部101は、これら情報を組み合わせて制御命令を生成する。
前述したように、フレーム出力遅延処理採否情報は、フレーム出力遅延処理を適用するか否かを判断するためのフラグ情報である。
例えばコンテンツが静止画の場合は動きがないのでフレーム出力遅延処理は適用しない。一方、コンテンツが動画の場合は、フレーム出力遅延処理を適用するようにしてもよい。また、動画であっても、横方向の動きが速いケースが特に縦方向の画面間のずれが目立つので、その場合だけフレーム出力遅延処理を適用してもよい。また、これらの設定は手動で行ってもよいし、制御命令送信部101が、自動的にコンテンツデータの中身を解析して行ってもよい。動画の動きの速さであれば、一般的な動きベクトル生成手法で最も大きな動きベクトルの長さを閾値処理する等で設定できる。
また、コンテンツ情報や再生開始予定時刻、指定コンテンツに対するフレーム出力遅延処理の採否は、制御サーバ装置10の表示装置に表示された操作画面に対してユーザが入力装置を用いて指定してもよい。また、あらかじめ決まったスケジュールに基づき指定してもよい。
ステップST2では、制御命令送信部101が、通信インタフェース74を介して、ステップST1で生成された制御命令を表示端末装置21、22、23、24の制御命令受信部211、221、231、241へ送信する。
以上で、制御サーバ装置10での制御命令送信処理は完了である。
図5は、表示端末装置21、22、23、24での制御命令受信処理の処理手順を示すフローチャート図である。以下では、表示端末装置21での処理を説明するが、表示端末装置22、23、24でも同様の処理が行われる。
ステップST3では、制御命令受信部211が、通信インタフェース85を介して、制御命令送信部101から送信された制御命令を受信する。
ST4では、制御命令展開部212が、制御命令受信部211で受信した制御命令を解析し、タイミング情報(再生開始予定時刻とフレーム出力遅延処理採否情報)とコンテンツ情報を抽出する。また、制御命令展開部212は、抽出したタイミング情報とコンテンツ情報を画像生成表示部215とフレーム出力遅延時間算出部213に渡す。
以上で、表示端末装置21での制御命令受信処理は完了である。
図6は、表示端末装置21、22、23、24でのコンテンツ再生処理の処理手順を示すフローチャート図である。以下では、表示端末装置21での処理を説明するが、表示端末装置22、23、24でも同様の処理が行われる。なお、図6に示す処理手順は、データ処理方法及びデータ処理プログラムの例に相当する。
ステップST6では、画面更新指示部214が垂直同期信号を検知し、垂直同期信号の検出を画像生成表示部215に通知する。
ステップST7では、画像生成表示部215が、次に再生するコンテンツに関する新たなコンテンツ情報とタイミング情報が存在するかを判断する。
存在する場合は、ステップST8が実行され、存在しない場合は、ステップST11が実行される。
なお、本実施の形態では、制御命令展開部212または画像生成表示部215がコマンドバッファを持つものとする。また、ステップST4で制御命令展開部212がコマンドバッファにコンテンツ情報とタイミング情報を書き込むものとする。ステップST7において、画像生成表示部215がコマンドバッファからコンテンツ情報とタイミング情報を取得する。そして、画像生成表示部215は、取得したタイミング情報が更新されているかを判断する。また、画像生成表示部215は、コマンドバッファからコンテンツ情報とタイミング情報を取得した後に必ずコンテンツ情報とタイミング情報を削除することとし、コンテンツ情報とタイミング情報を取得できたか否かでステップST7の判断を行ってもよい。
ステップST8では、フレーム出力遅延時間算出部213が、タイミング情報からフレーム出力遅延処理を適用するか否かを判定する。
具体的には、フレーム出力遅延時間算出部213は、タイミング情報に含まれるフレーム出力遅延処理採否情報を参照して、フレーム出力遅延処理を適用するかどうかを判定する。
フレーム出力遅延処理を適用する場合は、ステップST9が実行され、フレーム出力遅延処理を適用しない場合は、ステップST10が実行される。
フレーム出力遅延処理は原則としてコンテンツに含まれる表示データのうちの最初の表示データに対して行うが、任意の位置の表示データにフレーム出力遅延処理を行うようにしてもよい。例えば、2番目の表示データにフレーム出力遅延処理を行うようにしてもよい。何番目の表示データに対してフレーム出力遅延処理を行うかはフレーム出力遅延処理採否情報で指定される。コンテンツが切り替わるときは、新たなコンテンツの表示画像と前のコンテンツの表示画像とが大きく異なっている場合が多いが、2番目の表示データに対してフレーム出力遅延処理を行うようにすれば、コンテンツの切り替わりが目立つ問題を解消できる。
なお、以下では、コンテンツの最初の表示データに対してフレーム出力遅延処理を行う場合を説明する。
ステップST9では、フレーム出力遅延時間算出部213が、次のコンテンツの再生開始予定時刻に対して適用されるフレーム出力遅延時間を算出する。
フレーム出力遅延時間算出部213は、例えば、マルチ画面コンテンツ表示システムにおける縦方向の表示装置の行数Nと各表示端末装置が担当する表示装置の行数n、表示装置構成が2段の場合の1段下の表示装置のフレーム出力遅延時間Δdから得ることができる。例えば、中心の表示装置を指定時刻で再生開始する場合、n段目の表示装置S(n)のフレーム出力遅延時間d(n)は、下式(1)で求めることができる。
Figure 2017194509
あるいは、フレーム出力遅延時間算出部213は、スクリーン上でのコンテンツの表示領域(つまりコンテンツのレイアウト)からフレーム出力遅延時間d(n)を算出することもできる。その場合、例えば、表示装置の座標系におけるコンテンツの縦方向の領域(上をsy、下をeyとする)と、マルチ画面コンテンツ表示システムを構成する表示装置1面の解像度hから、下式(2)で求めることができる。なお、式(2)においてceil(x)は、小数点以下切り上げ処理を示す。
Figure 2017194509
さらに、表示装置全ての解像度が明らかであれば、表示装置の解像度が表示装置ごとに異なる場合であっても、フレーム出力遅延時間算出部213はコンテンツのレイアウトからd(n)を算出することができる。
さらに、コンテンツのレイアウトからフレーム出力遅延時間d(n)を算出できるので、コンテンツごとに制御命令で再生制御を行う場合に、フレーム出力遅延時間算出部213は、フレーム出力遅延時間を個別に算出することができる。
なお、Δdは、表示端末装置が垂直同期信号のタイミングを制御できない一般的なコンピュータ等では1フレーム分(例えば60Hzの表示装置であれば、16.6666ms)である。ただし、表示端末装置自身が垂直同期信号のタイミングを調整できる場合はその限りではない。
ステップST10では、フレーム出力遅延処理を適用しないので、フレーム出力遅延時間算出部213は、フレーム出力遅延時間を0とする。
ステップST11では、画像生成表示部215が、次のコンテンツの表示時刻であるかどうかを判定する。
フレーム出力遅延処理を適用しない場合(ST8でNO)は、次のコンテンツの表示時刻は、タイミング情報に示される再生開始予定時刻である。一方、フレーム出力遅延処理を適用する場合(ST8でYES)は、次のコンテンツの表示時刻は、再生開始予定時刻にST9で算出されたフレーム出力遅延時間を加算して得られる時刻である。
次のコンテンツの表示時刻が到来していれば(ST11でYES)、ステップST12が実行される。一方、次のコンテンツの表示時刻が到来していなければ(ST11でNO)、ステップST13が実行される。
ステップST12では、画像生成表示部215が、次のコンテンツの第1フレームの画像(表示データ)を生成する。画像生成表示部215は、メモリ82または記憶装置84で記憶されている、表示装置31のスクリーン上の担当領域情報と、コンテンツ情報から記憶装置84に格納されているコンテンツデータに基づき、表示画像を生成する。
例えば、スクリーン全体が、横方向W画素×縦方向H画素の解像度で、表示装置31、32、33、34が各々横方向W/2画素、縦方向H/2画素の解像度で、スクリーン上にW画素×H画素のコンテンツを表示する場合を想定する。スクリーン座標が全体の左上隅(図1において表示装置32の左上隅)を原点とした座標系とすると、画像生成表示部215は(0,H/2)からW/2×H/2の領域を担当領域として表示画像を生成する。また、画像生成表示部225は(0,0)からW/2×H/2の領域を担当領域として表示画像を生成する。また、画像生成表示部235は(W/2,0)からW/2×H/2の領域を担当領域として表示画像を生成する。また、画像生成表示部245は(W/2,H/2) からW/2×H/2の領域を担当領域として表示画像を生成する。
なお、ステップST12における第1フレームの画像の生成は、記憶装置84から読み出した第1フレームの画像を表示装置31で表示できる形式の表示画像に変換する処理である。
なお、本実施の形態では、制御命令展開部212はステップST4においてコンテンツ情報を制御命令から抽出するだけで、画像生成表示部215がステップST12においてコンテンツデータの読み込み及び表示画像の生成を行っているが、制御命令展開部212と画像生成表示部215との処理の分担はこの限りではない。
例えば、ステップST4で制御命令展開部212がコンテンツデータを読み込み、ステップST12で画像生成表示部215が読み込み済みのコンテンツデータから表示画像を生成してもよい。
ステップST13では、画像生成表示部215が、現在再生中のコンテンツの次のフレームの画像(表示データ)を生成する。画像生成表示部215は、表示装置31で現在表示中の画像が第kフレーム目の画像であれば、第k+1フレーム目の画像を生成してよいし、同じ第iフレーム目の画像を再度生成してもよい。なお、画像生成表示部215は、ステップST12の説明で示したように、表示装置のスクリーン上の担当領域情報に基づき表示画像を生成する。
ステップST14では、画像生成表示部215が、ステップST12またはステップST13で生成した画像を表示インタフェース86を介して表示装置31に出力する。
ステップST15では、表示装置31が画像生成表示部215から出力された画像を表示する。
図6のコンテンツ再生処理の処理手順では、コンテンツの先頭のフレームの画像がステップST12で生成される。フレーム出力遅延処理が適用されない場合は、先頭のフレームの画像が再生開始予定時刻に生成され、ステップST14で表示装置31に出力される。一方、フレーム出力遅延処理が適用される場合は、先頭のフレームの画像がフレーム出力遅延時間分遅延したタイミングで生成され、ステップST14で表示装置31に出力される。
また、2番目のフレーム以降の画像の場合は、ステップST7でNOになり、ステップST11で現在再生中のコンテンツの次のコンテンツの表示時刻が到来していないので、ステップST13で画像が生成され、ステップST14で表示装置31に出力される。
***実施の形態の効果の説明***
以上のように、本実施の形態によれば、下段の表示装置への表示データの出力を上段の表示装置への表示データの出力よりも1フレーム分遅らせて行うフレーム出力遅延処理の適用/非適用を、コンテンツの内容の特性に合わせて選択することで、より高品質なマルチ画面コンテンツ表示システムを実現することができる。
つまり、図12(a)のように、上段の表示装置の表示と下段の表示装置の表示が1フレーム分ずれているように認識されるような場合は、フレーム出力遅延処理を行うことで、上段の表示装置と下段の表示装置との間の表示のずれを解消することができる。
一方、主要色が大きく変わるような全画面で表示内容が大きく変わるような場合は、フレーム出力遅延処理を行うと、切り替わりが目立つため、フレーム出力遅延処理を行わないようにすることができる。
このように、本実施の形態によれば、表示データを指定出力タイミングで表示装置に出力するか、指定出力タイミングから遅延させて表示装置に出力するかを判定することにより、表示データを適切なタイミングで表示装置に表示させることができる。
***付記***
なお、本実施の形態では、表示端末装置上にコンテンツデータを配置し、その識別情報をコンテンツ情報として扱ったが、制御サーバ装置上にコンテンツデータを配置して、制御サーバ装置からコンテンツデータをコンテンツ情報として制御命令に含めて送信してもよい。
また、制御命令に再生開始、一時停止、再開、表示消去、フレーム移動、レイアウト移動等のコンテンツ制御ステータス移行命令を加えて送り、このステータス移行命令に基づいて画像生成表示部215がステップST13で次のフレームを選択してもよい。
また、本実施の形態では、制御命令にフレーム出力遅延処理採否情報を含んだが、制御命令にフレーム出力遅延処理採否情報を含ませないようにしてもよい。つまり、表示端末装置でコンテンツデータとそのコンテンツデータに対するフレーム出力遅延処理採否情報とを関連付けて記憶していてもよい。この場合は、ステップST4において、コンテンツ情報を抽出するとともに、フレーム出力遅延処理採否情報を読み込めばよい。
本システムは、1つのコンテンツを表示し、複数のコンテンツをレイアウトして同時に表示することもできる。また、表示端末装置が表示装置内に備えられる場合もある。
実施の形態2.
実施の形態1では、コンテンツ単位でフレーム出力遅延処理の適用/非適用が指定されている、つまり、実施の形態1では、動画像単位で制御命令を送信している。本実施の形態では、画像単位で制御命令を送信する。つまり、本実施の形態では、表示データ単位でフレーム出力遅延処理の適用/非適用を指定する。
また、実施の形態1では、制御情報にタイミング情報としてコンテンツの再生開始予定時刻が含まれていたが、本実施の形態では、コンテンツ単位での制御ではないため、制御情報にタイミング情報として画像ごとの表示予定時刻が含まれる。
また、本実施の形態では、フレーム出力遅延処理を適用する場合は、表示端末装置は表示装置の画面配置あるいはスクリーン上のコンテンツの配置に基づき、フレーム出力遅延時間を算出する。適用しない場合は、フレーム出力遅延時間を算出せず、全表示端末装置が同時にそれぞれの表示画像を対応する表示装置に出力する。
***構成の説明***
本実施の形態でのシステム構成例及びハードウェア構成例は、図1及び図2に示す通りであり、説明を省略する。
また、本実施の形態での制御サーバ装置10及び表示端末装置21の機能構成例は図3に示す通りである。しかし、本実施の形態では、制御命令送信部101は、映像信号における画像と、当該画像を表示するタイミング(表示予定時刻)を示すタイミング情報から制御命令を生成し、表示端末装置21、22、23、24に送信する。また、フレーム出力遅延時間算出部213は、画像ごとに、各画像を、各画像に指定された出力タイミングである表示予定時刻に表示装置31に出力するか、各画像の表示予定時刻から遅延させて表示装置31に出力するかを判定する。
***動作の説明***
また、本実施の形態における制御命令送信処理の処理手順は、図4と同様である。ただし、制御命令は、映像信号における画像ごとに送信される点が実施の形態1と異なる。
本実施の形態における制御命令受信処理の処理手順は、図5と同様である。ただし、ステップST4において制御命令展開部212が、制御命令をそのまま画像生成表示部215に渡す点が実施の形態1と異なる。
図7は、実施の形態2におけるコンテンツ再生処理の処理手順を示すフローチャート図である。
以下では、表示端末装置21での処理を説明するが、表示端末装置22、23、24でも同様の処理が行われる。なお、図7に示す処理手順は、データ処理方法及びデータ処理プログラムの例に相当する。
ステップST16では、画面更新指示部214が垂直同期信号を検知し、垂直同期信号の検出を画像生成表示部215に通知する。
ステップST17では、画像生成表示部215が、次の表示画像を含む制御命令を受信済みかどうか判断する。
受信済みである場合は、ステップST18が実行され、受信済みでない場合は、ステップST21が実行される。
なお、本実施の形態では、制御命令展開部212または画像生成表示部215がコマンドバッファを持つものとする。また、ステップST14で制御命令展開部212がコマンドバッファに制御命令を書き込むものとする。ステップST17において、画像生成表示部215がコマンドバッファから制御命令を取得する。そして、画像生成表示部215は、取得した制御命令が更新されているかを判断する。また、画像生成表示部215はコマンドバッファから制御命令を取得した後に必ず制御命令を削除することとし、制御命令を取得できたか否かでステップST17の判断を行ってもよい。
ステップST18では、フレーム出力遅延時間算出部213が、次の表示画像にフレーム出力遅延処理を適用するか否かを判定する。
実施の形態1と同様に、制御命令にフレーム出力遅延処理採否情報を含ませ、フレーム出力遅延時間算出部213がフレーム出力遅延処理採否情報を参照することで、フレーム出力遅延処理を適用するかどうかを判定してもよい。
また、フレーム出力遅延処理採否情報を用いずに、フレーム出力遅延処理を適用するかどうかを判定してもよい。具体的には、フレーム出力遅延時間算出部213は、表示装置31に次に出力する表示画像(ST17で取得した制御命令に含まれる表示画像、以下、次出力表示データという)と、次出力表示データの1つ前に表示装置31に出力する表示画像(以下、前出力表示データという)とを比較する。そして、比較結果に基づき、次出力表示データを、次出力表示データの表示予定時刻に表示装置31に出力するか、次出力表示データの表示予定時刻から遅延させて表示装置31に出力するかを判定する。例えば、フレーム出力遅延時間算出部213は、比較の結果、次出力表示データと前出力表示データとの差異が既定レベル以上である場合に、次出力表示データを、次出力表示データの表示予定時刻に表示装置31に出力すると判定する。一方、次出力表示データと出力表示データとの差異が既定レベル未満である場合に、次出力表示データを、次出力表示データの表示予定時刻から遅延させて表示装置31に出力すると判定する。
より具体的には、フレーム出力遅延時間算出部213は、一般的なシーンチェンジ検出の手法を用いて、シーンチェンジを検出し、前出力表示データと次出力表示データでシーンが異なる場合は、次出力表示データではフレーム出力遅延処理を適用しないと判定する。シーンが異なる場合にフレーム出力遅延処理を適用しない理由は、映像が不連続となるため、動きの連続性よりも切替わりにかかる画面更新時間が長くなる現象の方が、品質に影響を与えるからである。
なお、シーンチェンジ検出の手法としては、例えば前後2つの画像のヒストグラムを求めて特徴量とし、特徴量の差異が閾値を超える場合にシーンが異なると判定する方法等が挙げられる。
また、フレーム出力遅延時間算出部213は、シーンチェンジではなく、前出力表示データと次出力表示データでの動きベクトルを検出し、主要オブジェクトの移動量が一定以上であるか、オブジェクトを追跡できなかった場合に、フレーム出力遅延処理を適用しないと判定してもよい。その際、走査線に水平な方向のみの移動量で評価してもよい。
このような、フレーム出力遅延処理採否情報を用いずに、フレーム出力遅延時間算出部213が前出力表示データと次出力表示データを比較してフレーム出力遅延処理の採否を判定する手法は、実施の形態1で説明したコンテンツ単位でフレーム出力遅延処理の採否を判定する場合にも適用可能である。
ステップST19では、フレーム出力遅延時間算出部213が、次の表示画像の表示予定時刻に対して適用されるフレーム出力遅延時間を算出する。なお、フレーム出力遅延時間算出方法は、実施の形態1のステップST9で説明したものと同様である。
ステップST20では、フレーム出力遅延処理を適用しないので、フレーム出力遅延時間算出部213は、フレーム出力遅延時間を0とする。
ステップST21では、画像生成表示部215が、次の表示画像の表示時刻であるかどうかを判定する。
フレーム出力遅延処理を適用しない場合(ST18でNO)は、次の表示画像の表示時刻は、タイミング情報に示される表示予定時刻である。一方、フレーム出力遅延処理を適用する場合(ST18でYES)は、次の表示画像の表示時刻は、表示予定時刻にST19で算出されたフレーム出力遅延時間を加算して得られる時刻である。
次の表示画像の表示時刻が到来していれば(ST21でYES)、ステップST22が実行される。一方、次の表示画像の表示時刻が到来していなければ(ST21でNO)、ステップST23が実行される。
ステップST22では、画像生成表示部215が、次の表示画像を生成する。表示画像の生成方法は、実施の形態1のステップST12で説明したものと同様である。つまり、制御サーバ装置10から受信した表示画像を表示装置31で表示できる形式の表示画像に変換する。
ステップST23では、画像生成表示部215は、次の表示画像の表示時刻が到来していないので、表示画像を生成しない。
ステップST24では、画像生成表示部215が、ステップST22で生成した表示画像、または、前の表示画像を表示インタフェース86を介して表示装置31に出力する。
ステップST25では、表示装置31が画像生成表示部215から出力された画像を表示する。
以上より、実施の形態1と異なり、映像信号を制御サーバ装置から配信し、これをマルチ画面コンテンツ表示システム上で再生する場合でも、下段の表示装置への表示データの出力を上段の表示装置への表示データの出力よりも1フレーム分遅らせて行うフレーム出力遅延処理の適用/非適用を、表示画像間の画像特徴の変化に合わせて選択することで、より高品質なマルチ画面コンテンツ表示システムを実現することができる。
***実施の形態の効果の説明***
なお、実施の形態1と同様に、コンテンツ単位で制御命令を送信する構成であっても、図6におけるST13の代わりに、図7におけるST18〜ST23までのうちST22、ST23を行うことで、ST18に示したような画像単位でフレーム出力遅延処理の適用/非適用を使い分け、より高品質なマルチ画面コンテンツ表示システムを実現することができる。
実施の形態3.
本実施の形態では、表示端末装置が他の表示端末装置で算出されたフレーム出力遅延時間を受信し、受信したフレーム出力遅延時間に基づいてフレーム出力遅延時間を算出する。また、表示端末装置は、算出したフレーム出力遅延時間を他の表示端末装置に送信する。
***構成の説明***
図8は、本実施の形態に係るマルチ画面コンテンツ表示システムのシステム構成例を示す。
本実施の形態では、スクリーンは表示装置31〜39の9台で構成される。つまり、本実施の形態では、9台の表示装置が横3列縦3行に配置されている。また、表示端末装置も、表示端末装置21〜29の9台である。なお、作図上の理由から、表示端末装置24〜28の図示は省略している。本実施の形態では、符号の下1桁が共通する表示端末装置と表示装置が接続されている。例えば、表示端末装置21と表示装置31とが接続されており、表示端末装置22と表示装置32とが接続されており、表示端末装置29と表示装置39が接続されている。
このように、表示端末装置に接続されている表示装置を接続先表示装置という。つまり、表示装置31は表示端末装置21の接続先表示装置であり、表示装置32は表示端末装置22の接続先表示装置であり、表示装置39は表示端末装置29の接続先表示装置である。
図9は、実施の形態3の機能構成例を示す。
制御サーバ装置10の機能構成は、図3と同様であるため図示を省略している。
図9では、表示端末装置21、22、25の機能構成例を示している。
表示端末装置21、22、25の各々の機能構成は、図3に示したものと同様である。フレーム出力遅延時間算出部213、223、253以外の要素は、図3に示した同一名称の要素と同じであるため、説明を省略する。
表示端末装置21、22、25は、縦方向に配置されている表示装置31、32、35に接続されている。
フレーム出力遅延時間算出部213は、接続先表示装置である表示装置31の上段にある表示装置32に接続されている表示端末装置22のフレーム出力遅延時間算出部223からフレーム出力遅延時間を受信する。フレーム出力遅延時間算出部213がフレーム出力遅延時間算出部223から受信するフレーム出力遅延時間は、表示端末装置22が表示装置32に表示フレームを出力する際のフレーム出力遅延時間である。フレーム出力遅延時間算出部213は、受信したフレーム出力遅延時間に基づき、表示装置31に表示フレームを出力する際のフレーム出力遅延時間を算出する。また、フレーム出力遅延時間算出部213は、接続先表示装置である表示装置31の下段にある表示装置35に接続されている表示端末装置25のフレーム出力遅延時間算出部253へ算出したフレーム出力遅延時間を送信する。
このように、本実施の形態では、各表示端末装置のフレーム出力遅延時間算出部は、接続先表示装置(例えば表示装置31)の上段に配置されている表示装置(例えば表示装置32)に接続されている表示端末装置(例えば表示端末装置22)のフレーム出力遅延時間算出部からフレーム出力遅延時間を受信する。また、各表示端末装置のフレーム出力遅延時間算出部は、接続先表示装置(例えば表示装置31)の下段に配置されている表示装置(例えば表示装置35)に接続されている表示端末装置(例えば表示端末装置25)のフレーム出力遅延時間算出部に、算出したフレーム出力遅延時間を送信する。
換言すると、各表示端末装置のフレーム出力遅延時間算出部は、接続先表示装置(例えば表示装置31)の走査線に垂直の方向で、接続先表示装置の走査線のうち最先に表示が行われる走査線に最も近い接続先表示装置の辺に隣接している表示装置(例えば表示装置32)に接続される他の表示端末装置(例えば表示端末装置22)から遅延時間を受信する。また、各表示端末装置のフレーム出力遅延時間算出部は、接続先表示装置(例えば表示装置31)の走査線に垂直の方向で、接続先表示装置の走査線のうち最後に表示が行われる走査線に最も近い接続先表示装置の辺に隣接している表示装置(例えば表示装置35)に接続される他の表示端末装置(例えば表示端末装置25)に、算出した遅延時間を送信する。
なお、図9では、表示端末装置21、22、25の間でフレーム出力遅延時間を送受信することのみが示されているが、表示端末装置23、24、26の間でも同様にフレーム出力遅延時間を送受信し、表示端末装置29、28、27の間でも同様にフレーム出力遅延時間を送受信する。
***動作の説明***
本実施の形態における制御命令送信処理、制御命令受信処理の処理手順は図4、図5と同様であるので、説明を省略する。
本実施の形態におけるコンテンツ再生処理の処理手順は、ステップST9を除き図6と同様である。
図10は、本実施の形態におけるコンテンツ再生処理において、図6のステップST9で示したフレーム出力遅延時間算出処理部213における次のコンテンツの遅延時間算出処理の詳細なフローチャート図である。
ステップST26では、フレーム出力遅延時間算出部213は、記憶装置84で記憶されている表示装置31〜39の配置情報に基づき、表示端末装置21の接続先表示装置である表示装置31が、マルチ画面コンテンツ表示システムのスクリーン上で最上段に配置されているか否かを判定する。
表示装置31が最上段に配置されていなければ、ステップST27が実行され、表示装置31が最上段に配置されていれば、ステップST29が実行される。
ステップST27では、フレーム出力遅延時間算出部213は、表示装置31の一段上に配置されている表示装置32に接続されている表示端末装置22のフレーム出力遅延時間算出部223からフレーム出力遅延時間を取得する。より具体的には、フレーム出力遅延時間算出部213は、通信インタフェース85を介して、フレーム出力遅延時間算出部223から送信されたフレーム出力遅延時間を受信する。
ST28では、フレーム出力遅延時間算出部213は、画像生成表示部215で使用するフレーム出力遅延時間を算出する。
より具体的には、フレーム出力遅延時間算出部213は、以下の手順に従ってフレーム出力遅延時間を算出する。
表示装置32をi番目の表示装置、表示装置31をj番目の表示装置、d(n)をn番目の表示装置のフレーム出力遅延時間とすると、表示装置31へ表示データを出力する際のフレーム出力遅延時間は式(3)で表すことができる。なお、Δdは、表示装置の構成が2段の場合の1段下の表示装置へ表示データを出力する際のフレーム出力遅延時間である。
Figure 2017194509
ステップST29では、フレーム出力遅延時間算出部213は、フレーム出力遅延時間を0とする。
ステップST30では、フレーム出力遅延時間算出部213は、表示装置31〜39の配置情報に基づき、接続先表示装置である表示装置31が、マルチ画面コンテンツ表示システムのスクリーン上で、最下段に配置されているか否かを判定する。
表示装置31が最下段に配置されていなければ、ステップS31が実行され、表示装置31が最下段に配置されていれば、処理が終了する。
ステップST31では、フレーム出力遅延時間算出部213は、表示装置31の一段下に配置されている表示装置35に接続されている表示端末装置25のフレーム出力遅延時間算出部253にフレーム出力遅延時間d(j)を通信インタフェース85を介して送信する。
表示端末装置22のフレーム出力遅延時間算出部223では、ステップST26でYESとなり、ステップST29でフレーム出力遅延時間=0とし、ステップST30でNOとなり、ステップS31で、フレーム出力遅延時間=0を表示端末装置21のフレーム出力遅延時間算出部213に送信する。
表示端末装置25のフレーム出力遅延時間算出部253では、ステップST26でNOとなり、ステップST27で表示端末装置21のフレーム出力遅延時間算出部213からフレーム出力遅延時間を取得し、ステップST28でフレーム出力遅延時間を算出し、ST30でYESとなり、処理を終了する。
***実施の形態の効果の説明***
以上より、実施の形態1と異なり、上段の表示端末装置に対するフレーム出力遅延時間に基づいて自身の表示装置に対するフレーム出力遅延時間を算出することにより、各表示端末装置は上下に接する表示装置に接続された表示端末装置を認識できていれば、マルチ画面コンテンツ表示システム全体の表示装置の配置の情報を取得する必要なく、コンテンツに応じて下段の表示装置への表示データの出力を上段の表示装置への表示データの出力よりも1フレーム分遅らせて行うフレーム出力遅延処理の適用/非適用を選択し、より高品質なマルチ画面コンテンツ表示システムを得ることができる。
***付記***
なお、実施の形態3で説明した方式は、「次のコンテンツ」を「次の表示画像」に読み替えることで、実施の形態2のステップST19に適用できる。
また、実施の形態3で説明した方式を実施の形態2に適用することで、実施の形態2のST18では、画像生成表示部215で生成するコンテンツの表示領域のみを比較して特徴量を求め、評価し、フレーム出力遅延処理を適用するか否かを判定することも可能となる。さらに、特徴量を求める対象領域が、上段の表示装置32に近い、表示装置31の上方の領域だけであってもよい。
また、複数の表示装置に1つの表示端末装置を接続する構成であっても、図11に示すように、1台の表示端末装置の中に複数の制御命令展開部、フレーム出力遅延時間算出部、画像生成表示部、画面更新指示部、画面間同期処理部を備えれば同様の効果が得られる。
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、2つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、2つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
***ハードウェア構成の説明***
最後に、ハードウェア構成の補足説明を行う。
図2に示すプロセッサ71、81は、プロセッシングを行うIC(Integrated Circuit)である。
プロセッサ71、81は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等である。
グラフィックスプロセッサ83は、GPU(Graphics Processing Unit)等である。
メモリ72、82は、RAM(Random Access Memory)である。
記憶装置73、84は、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等である。
通信インタフェース74、85は、例えば、通信チップ又はNIC(Network Interface Card)である。
表示インタフェース86は、表示装置31と接続された回路である。
記憶装置73、84には、OS(Operating System)も記憶されている。
そして、OSの少なくとも一部がプロセッサ71、81により実行される。
プロセッサ71はOSの少なくとも一部を実行しながら、制御命令送信部101及び画面間同期処理部102の機能を実現するプログラムを実行する。
また、プロセッサ81はOSの少なくとも一部を実行しながら、制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の機能を実現するプログラムを実現する。
プロセッサ71、81がOSを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、制御サーバ装置10での処理の結果を示す情報やデータや信号値や変数値が、メモリ72、記憶装置73、又はプロセッサ71内のレジスタ又はキャッシュメモリに記憶される。
また、表示端末装置21での処理の結果を示す情報やデータや信号値や変数値が、メモリ82、記憶装置84、又はプロセッサ81内のレジスタ又はキャッシュメモリに記憶される。
また、制御命令送信部101及び画面間同期処理部102の機能を実現するプログラム、制御命令受信部211、制御命令展開部212、フレーム出力遅延時間算出部213、画面更新指示部214、画像生成表示部215及び画面間同期処理部216の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記憶媒体に記憶されてもよい。
また、制御サーバ装置10、表示端末装置21は、ロジックIC(Integrated Circuit)、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)といった電子回路により実現されてもよい。
なお、プロセッサ71、81及び上記の電子回路を総称してプロセッシングサーキットリーともいう。
10 制御サーバ装置、21 表示端末装置、22 表示端末装置、23 表示端末装置、24 表示端末装置、25 表示端末装置、29 表示端末装置、31 表示装置、32 表示装置、33 表示装置、34 表示装置、35 表示装置、39 表示装置、71 プロセッサ、72 メモリ、73 記憶装置、74 通信インタフェース、81 プロセッサ、82 メモリ、83 グラフィックスプロセッサ、84 記憶装置、85 通信インタフェース、86 表示インタフェース、101 制御命令送信部、102 画面間同期処理部、211 制御命令受信部、212 制御命令展開部、213 フレーム出力遅延時間算出部、214 画面更新指示部、215 画像生成表示部、216 画面間同期処理部、221 制御命令受信部、222 制御命令展開部、223 フレーム出力遅延時間算出部、224 画面更新指示部、225 画像生成表示部、226 画面間同期処理部、231 制御命令受信部、232 制御命令展開部、233 フレーム出力遅延時間算出部、234 画面更新指示部、235 画像生成表示部、236 画面間同期処理部、241 制御命令受信部、242 制御命令展開部、243 フレーム出力遅延時間算出部、244 画面更新指示部、245 画像生成表示部、246 画面間同期処理部、251 制御命令受信部、252 制御命令展開部、253 フレーム出力遅延時間算出部、254 画面更新指示部、255 画像生成表示部、256 画面間同期処理部。

Claims (14)

  1. 表示装置に接続される表示端末装置であって、
    前記表示装置に出力する表示データを、前記表示データに指定されている出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを判定する出力制御部と、
    前記出力制御部により前記表示データを前記指定出力タイミングで前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングで前記表示装置に出力し、前記出力制御部により前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力する出力部とを有する表示端末装置。
  2. 前記出力制御部は、
    前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定した場合に、前記指定出力タイミングからの遅延時間を算出し、
    前記出力部は、
    前記出力制御部により前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記指定出力タイミングから前記遅延時間分遅延させて前記表示データを前記表示装置に出力する請求項1に記載の表示端末装置。
  3. 前記出力制御部は、
    連続して前記表示装置に出力する複数の表示データのうちの任意の位置の表示データを、当該表示データの指定出力タイミングで前記表示装置に出力するか、遅延させて前記表示装置に出力するかを判定する請求項1に記載の表示端末装置。
  4. 前記出力制御部は、
    前記複数の表示データのうちの先頭の表示データを、当該先頭の表示データの指定出力タイミングで前記表示装置に出力するか、遅延させて前記表示装置に出力するかを判定する請求項3に記載の表示端末装置。
  5. 前記出力制御部は、
    表示データごとに、各表示データを、各表示データの指定出力タイミングで前記表示装置に出力するか、各表示データの指定出力タイミングから遅延させて前記表示装置に出力するかを判定する請求項1に記載の表示端末装置。
  6. 前記出力制御部は、
    前記表示装置に次に出力する次出力表示データと、前記次出力表示データの1つ前に前記表示装置に出力する前出力表示データとを比較し、比較結果に基づき、前記次出力表示データを、前記次出力表示データの指定出力タイミングで前記表示装置に出力するか、前記次出力表示データの指定出力タイミングから遅延させて前記表示装置に出力するかを判定する請求項1に記載の表示端末装置。
  7. 前記出力制御部は、
    前記次出力表示データと前記前出力表示データとの比較の結果、前記次出力表示データと前記前出力表示データとの差異が既定レベル以上である場合に、前記次出力表示データを、前記次出力表示データの指定出力タイミングで前記表示装置に出力すると判定し、前記次出力表示データと前記前出力表示データとの差異が前記既定レベル未満である場合に、前記次出力表示データを、前記次出力表示データの指定出力タイミングから遅延させて前記表示装置に出力すると判定する請求項6に記載の表示端末装置。
  8. 前記出力制御部は、
    他の表示端末装置が前記他の表示端末装置に接続する表示装置に表示データを出力する際の遅延時間を前記他の表示端末装置から受信し、前記他の表示端末装置から受信した遅延時間に基づき、前記指定出力タイミングからの遅延時間を算出する請求項2に記載の表示端末装置。
  9. 前記出力制御部は、
    算出した遅延時間を、前記他の表示端末装置とは異なる他の表示端末装置に送信する請求項8に記載の表示端末装置。
  10. 前記表示装置は、
    相互に隣接して配置される複数の表示装置のうちのいずれかの表示装置に接続され、
    前記出力制御部は、
    接続先の表示装置である接続先表示装置の走査線に垂直の方向で、前記接続先表示装置の走査線のうち最先に表示が行われる走査線に最も近い前記接続先表示装置の辺に隣接している表示装置に接続される他の表示端末装置から遅延時間を受信する請求項8に記載の表示端末装置。
  11. 前記出力制御部は、
    前記接続先表示装置の走査線に垂直の方向で、前記接続先表示装置の走査線のうち最後に表示が行われる走査線に最も近い前記接続先表示装置の辺に隣接している表示装置に接続される他の表示端末装置に、算出した遅延時間を送信する請求項10に記載の表示端末装置。
  12. 前記表示装置は、
    相互に隣接して配置される複数の表示装置のうちのいずれかの表示装置に接続され、
    前記出力制御部は、
    接続先の表示装置である接続先表示装置に出力する表示データを、前記複数の表示装置で共通する出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを判定する請求項1に記載の表示端末装置。
  13. 表示装置に接続されるコンピュータが行うデータ処理方法であって、
    前記表示装置に出力する表示データを、前記表示データに指定されている出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを前記コンピュータが判定する出力制御ステップと、
    前記出力制御ステップにより前記表示データを前記指定出力タイミングで前記表示装置に出力すると判定された場合に、前記コンピュータが前記表示データを前記指定出力タイミングで前記表示装置に出力し、前記出力制御ステップにより前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記コンピュータが前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力する出力ステップとを有するデータ処理方法。
  14. 表示装置に接続されるコンピュータに、
    前記表示装置に出力する表示データを、前記表示データに指定されている出力タイミングである指定出力タイミングで前記表示装置に出力するか、前記指定出力タイミングから遅延させて前記表示装置に出力するかを判定する出力制御ステップと、
    前記出力制御ステップにより前記表示データを前記指定出力タイミングで前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングで前記表示装置に出力し、前記出力制御ステップにより前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力すると判定された場合に、前記表示データを前記指定出力タイミングから遅延させて前記表示装置に出力する出力ステップとを実行させるデータ処理プログラム。

JP2016083164A 2016-04-18 2016-04-18 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム Active JP6598726B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016083164A JP6598726B2 (ja) 2016-04-18 2016-04-18 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016083164A JP6598726B2 (ja) 2016-04-18 2016-04-18 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム

Publications (3)

Publication Number Publication Date
JP2017194509A true JP2017194509A (ja) 2017-10-26
JP2017194509A5 JP2017194509A5 (ja) 2018-09-13
JP6598726B2 JP6598726B2 (ja) 2019-10-30

Family

ID=60155542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016083164A Active JP6598726B2 (ja) 2016-04-18 2016-04-18 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム

Country Status (1)

Country Link
JP (1) JP6598726B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021124729A1 (ja) * 2019-12-17 2021-06-24 パナソニックIpマネジメント株式会社 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム
US11842670B2 (en) 2020-06-23 2023-12-12 Samsung Electronics Co., Ltd. Electronic device for dynamically adjusting refresh rate of display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213076A (ja) * 1988-06-29 1990-01-17 Pioneer Electron Corp テレビジョン信号受信装置
JP2008234333A (ja) * 2007-03-20 2008-10-02 Sony Corp 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
JP2010252117A (ja) * 2009-04-16 2010-11-04 Sharp Corp フレームレート変換装置、フレームレート変換方法、動画像表示装置、フレームレート変換プログラムおよび記録媒体
JP2014127899A (ja) * 2012-12-27 2014-07-07 Panasonic Corp 映像表示装置
WO2015083269A1 (ja) * 2013-12-05 2015-06-11 Necディスプレイソリューションズ株式会社 画像表示装置、画像表示システム及び画像表示方法
US20160104455A1 (en) * 2014-10-13 2016-04-14 Wistron Corporation Display matrix, display device and associated display method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213076A (ja) * 1988-06-29 1990-01-17 Pioneer Electron Corp テレビジョン信号受信装置
JP2008234333A (ja) * 2007-03-20 2008-10-02 Sony Corp 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
JP2010252117A (ja) * 2009-04-16 2010-11-04 Sharp Corp フレームレート変換装置、フレームレート変換方法、動画像表示装置、フレームレート変換プログラムおよび記録媒体
JP2014127899A (ja) * 2012-12-27 2014-07-07 Panasonic Corp 映像表示装置
WO2015083269A1 (ja) * 2013-12-05 2015-06-11 Necディスプレイソリューションズ株式会社 画像表示装置、画像表示システム及び画像表示方法
US20160104455A1 (en) * 2014-10-13 2016-04-14 Wistron Corporation Display matrix, display device and associated display method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021124729A1 (ja) * 2019-12-17 2021-06-24 パナソニックIpマネジメント株式会社 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム
JPWO2021124729A1 (ja) * 2019-12-17 2021-06-24
JP7174926B2 (ja) 2019-12-17 2022-11-18 パナソニックIpマネジメント株式会社 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム
US11842670B2 (en) 2020-06-23 2023-12-12 Samsung Electronics Co., Ltd. Electronic device for dynamically adjusting refresh rate of display

Also Published As

Publication number Publication date
JP6598726B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
US7460126B2 (en) Scalable method and system for streaming high-resolution media
WO2022048097A1 (zh) 一种基于多显卡的单帧画面实时渲染方法
JP4346591B2 (ja) 映像処理装置、映像処理方法およびプログラム
US10412320B1 (en) Method and system for switching display from first video source to second video source
JP2007228334A (ja) 動画像制御装置および方法並びにプログラム
EP3021213A1 (en) Display apparatus and display methods thereof
JP6598726B2 (ja) 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム
JP2006195525A (ja) 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム
WO2011077550A1 (ja) 画面中継装置
JP2011002882A (ja) 撮像装置、画像処理プログラム、および撮像方法
JP4731827B2 (ja) マルチ画面映像表示装置及びマルチ画面映像表示方法
JP4675944B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
TWI249353B (en) Method and apparatus for scaling image in horizontal and vertical directions
JP6422620B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
CN114452645B (zh) 生成场景图像的方法、设备和存储介质
JP5676924B2 (ja) 投影装置及び投影方法
JP6864757B2 (ja) 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
KR20060107072A (ko) 알파 평면을 이용한 영상 데이터 처리 장치 및 방법
JP4546810B2 (ja) 軌跡付加映像生成装置及び軌跡付加映像生成プログラム
CN111699672B (zh) 视频控制装置和视频控制方法
JP5176613B2 (ja) 映像信号処理装置、映像信号処理方法およびコンピュータプログラム
WO2022137324A1 (ja) 映像信号を合成する装置、方法及びプログラム
US20230412872A1 (en) Stream region replacements
JP6040217B2 (ja) 投影装置及び投影方法
JP2012044478A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R150 Certificate of patent or registration of utility model

Ref document number: 6598726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250