JP2016142761A - マルチプロジェクションシステム、情報処理装置、及びプログラム - Google Patents

マルチプロジェクションシステム、情報処理装置、及びプログラム Download PDF

Info

Publication number
JP2016142761A
JP2016142761A JP2015016042A JP2015016042A JP2016142761A JP 2016142761 A JP2016142761 A JP 2016142761A JP 2015016042 A JP2015016042 A JP 2015016042A JP 2015016042 A JP2015016042 A JP 2015016042A JP 2016142761 A JP2016142761 A JP 2016142761A
Authority
JP
Japan
Prior art keywords
frame
output
display
display frame
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015016042A
Other languages
English (en)
Inventor
進介 ▲柳▼詰
進介 ▲柳▼詰
Shinsuke Yagizume
洋 馬場
Hiroshi Baba
洋 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015016042A priority Critical patent/JP2016142761A/ja
Priority to US14/989,915 priority patent/US9756302B2/en
Publication of JP2016142761A publication Critical patent/JP2016142761A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】複数の情報処理装置の各々が出力するコンテンツを、情報処理装置の台数と表示装置の台数とが異なる場合であっても、複数の表示装置により1つの大画面として表示できるマルチプロジェクションシステムを提供する。【解決手段】複数の情報処理装置からそれぞれ出力される各出力フレームを1つの画面に合成する際の、1つの画面における出力フレーム毎の位置の情報である出力フレーム位置情報、及び1つの画面における表示フレーム毎の位置の情報である表示フレーム位置情報を設定する画面配置設定手段と、出力フレーム位置情報に基づいて、複数の出力フレームを合成する出力フレーム合成手段と、表示フレーム位置情報に基づいて、合成した画像の少なくとも一部を用いて、表示装置毎の表示フレームを生成する表示フレーム生成手段と、生成した複数の表示フレームを表示する表示手段を備える。【選択図】図5B

Description

本発明は、マルチプロジェクションシステム、情報処理装置、及びプログラムに関する。
1台の情報処理装置と、複数台のプロジェクタや液晶ディスプレイ等の表示装置とを有線の映像ケーブルにて接続し、1台の情報処理装置が出力するコンテンツを、複数台の表示装置により1つの大画面として投影するマルチプロジェクションシステムが知られている。また、表示装置としてプロジェクタを用いたマルチプロジェクションシステムにおいては、複数のプロジェクタの投影が重なり合う領域を設けることにより、上下または左右に隣り合う画像の境目を滑らかに表示する等の処理が行われている。マルチプロジェクションシステムは、デジタルサイネージ(電子看板)や、電子黒板等に活用されている。
また、特許文献1には、複数台の情報処理装置と、複数台の表示装置とを1対1でそれぞれ接続し、各情報処理装置のメモリに予め格納されているコンテンツの画像を、対となっている表示装置に投影し、各表示装置からの投影画像の一部の領域をスクリーン上で重ねながら並べることにより、スクリーン全体にメニュー等の画面を1つの大画面として表示するマルチプロジェクションシステムが開示されている。
しかし、特許文献1記載のマルチプロジェクションシステムでは、複数台の情報処理装置と、複数台の表示装置とを1対1でそれぞれ接続しており、また、各情報処理装置が対となる表示装置に出力するコンテンツは、各情報処理装置のメモリに予め格納されている必要がある。そのため、各情報処理装置にて現在表示されているデスクトップ画面等、複数台のコンピュータの各々が出力するコンテンツを、情報処理装置の台数とは異なる台数の表示装置にて、複数並べて1つの大画面として表示することはできなかった。
そこで、複数の情報処理装置の各々が出力する動的に変わるコンテンツを、情報処理装置の台数と表示装置の台数とが異なる場合であっても、複数の表示装置により1つの大画面として表示できるマルチプロジェクションシステムを提供することを目的とする。
複数の情報処理装置からそれぞれ出力される各出力フレームを、複数の表示装置の各々が表示する各表示フレームにより1つの画面として表示するマルチプロジェクションシステムを提供する。
このマルチプロジェクションシステムにおいて、複数の前記出力フレームを前記1つの画面に合成する際の、前記1つの画面における前記出力フレーム毎の位置の情報である出力フレーム位置情報、及び前記1つの画面における前記表示フレーム毎の位置の情報である表示フレーム位置情報を設定する画面配置設定手段と、前記複数の情報処理装置からそれぞれ出力される複数の出力フレームを取得する出力フレーム取得手段と、前記出力フレーム位置情報に基づいて、前記複数の出力フレームを合成する出力フレーム合成手段と、前記表示フレーム位置情報に基づいて、前記合成した画像の少なくとも一部を用いて、前記表示装置毎の前記表示フレームを生成する表示フレーム生成手段と、生成した複数の前記表示フレームを表示する表示手段を備える。
開示の技術によれば、複数の情報処理装置の各々が出力する動的に変わるコンテンツを、情報処理装置の台数と表示装置の台数とが異なる場合であっても、複数の表示装置により1つの大画面として表示できるマルチプロジェクションシステムを提供することが可能となる。
第1の実施形態に係るマルチプロジェクションシステムの概念図である。 第1の実施形態に係るマルチプロジェクションシステムの構成図である。 画面配置情報の例を示す図である。 第1の実施形態で出力フレームを合成し、表示フレームを生成する例を示す図である。 第1の実施形態のシーケンス図(その1)である。 第1の実施形態のシーケンス図(その2)である。 親子関係を判断する処理のフローチャートである。 第1の実施形態で表示フレームを作成する処理のフローチャートである。 第2の実施形態に係るマルチプロジェクションシステムの構成図である。 第2の実施形態で出力フレームから表示フレームを生成する例を示す図である。 第2の実施形態のシーケンス図(その1)である。 第2の実施形態のシーケンス図(その2)である。 第3の実施形態に係るマルチプロジェクションシステムの概念図である。 第3の実施形態に係るマルチプロジェクションシステムの構成図である。 第3の実施形態のシーケンス図である。 第3の実施形態の情報端末のフローチャートである。 情報端末のハードウェア構成図である。 表示装置のハードウェア構成図である。
<第1の実施形態>
図1は、第1の実施形態に係るマルチプロジェクションシステム1の概念図である。マルチプロジェクションシステム1は、複数の情報端末2と、複数の表示装置3とをネットワーク4で接続している。図1は、2台の表示装置3と、3台の情報端末2を接続した場合の例であり、3台の情報端末2でそれぞれ表示されている画面が、2台の表示装置3により、1つの大画面として投影する場合の概念図である。なお、本技術は、表示装置3の数が情報端末2の数よりも少ない場合のみならず、表示装置3の数と情報端末2の数が同数、あるいは表示装置3の数が情報端末2の数よりも多い場合にも適用できる。
図2は、第1の実施形態に係るマルチプロジェクションシステム1の構成図である。
情報端末2は、所定のプログラムをインストールされたパーソナルコンピュータ等であり、操作部21、画面配置設定部22、親子端末決定部23、出力フレーム取得部24、出力フレーム合成部25、表示フレーム生成部26、通信部27、画面表示部28を有する。
操作部21は、ユーザからの要求を受け、親子端末決定部23に出力する。
画面表示部28は、情報端末2上のユーザインタフェースなどの画面を表示する。
親子端末決定部23は、操作部21からの入力または、通信部27からの入力により、情報端末間の親子関係を決定する。
出力フレーム取得部24は、画面表示部28で表示する画面をキャプチャして取得する表示中画面取得部241により、出力フレームを取得する。
図3は、画面配置情報の例を示す図である。画面配置設定部22は、図3(A)、(B)、(C)に示す画面配置情報を記憶する。図3(A)では、出力フレーム毎に、当該出力フレームの送信元である情報端末2のIPアドレスやホスト名等の識別情報、および複数の表示装置により投影される1つの大画面中の左下および右上の画素の位置である出力フレーム位置情報を設定している。また、図3(B)では、表示フレーム毎に、当該表示フレームの送信先である表示装置3のIPアドレスやホスト名等の識別情報、および複数の表示装置により投影される1つの大画面中の左下および右上の画素の位置である表示フレーム位置情報を設定している。また、図3(C)では、出力フレーム毎に、当該出力フレームの送信元である情報端末2のIPアドレスやホスト名等の識別情報、コンテンツ種別、および更新頻度の情報である出力フレーム更新頻度情報の設定を記憶している。
図4は、出力フレームを合成し、表示フレームを生成する例を示す図である。
図3(B)、図4に示す例では、表示フレーム1の左下および右上の画素の位置は、(0,0),(2900,1080)、表示フレーム2の左下および右上の画素の位置は、(2861,0),(5760,1080)と設定されている。そのため、表示フレーム1および表示フレーム2は、40画素分の画像が重なり合うことになる。
表示フレーム更新頻度決定部29は、図3に示す画面配置情報に基づき、表示フレーム毎の更新頻度を決定する。具体的には、図3(B)から取得した表示フレームの範囲と、図3(A)から取得した出力フレームの範囲に基づき、表示フレームに含まれる1または複数の出力フレームを決定し、図3(C)により、表示フレームに含まれる1または複数の出力フレームのうち、最も更新頻度が高い出力フレームの更新頻度を、当該表示フレームの更新頻度とする。
図3の例では、表示フレーム1には出力フレーム1および出力フレーム2が含まれ、出力フレーム1の更新頻度は30回/秒、出力フレーム2の更新頻度は0.2回/秒であるから、表示フレーム1の更新頻度は30回/秒と決定される。また、同様に、表示フレーム2には出力フレーム2および出力フレーム3が含まれ、出力フレーム2および出力フレーム3の更新頻度は0.2回/秒であるから、表示フレーム2の更新頻度は0.2回/秒すなわち5秒毎に1回と決定される。なお、図3(C)の情報を予め設定し、表示フレーム毎の更新頻度を決定する代わりに、表示フレーム毎の更新頻度を予め設定できるようにしてもよい。
また、表示フレーム更新頻度決定部29は、表示フレーム毎の更新頻度に従って、表示フレームを更新するタイミング(周期)となった際に、当該表示フレームの識別情報を出力フレーム合成部25に通知する。
出力フレーム合成部25は、表示フレーム更新頻度決定部29にて決定された当該表示フレームに対応する更新頻度にて、画面配置設定部22に設定された図3に示す画面配置情報に基づき、表示フレームに含まれる出力フレームが複数ある場合は、複数の出力フレームを1つの画像に合成して表示フレーム生成部26に出力する。また、表示フレームに含まれる出力フレームが1つの場合は、当該出力フレームの画像を表示フレーム生成部26に出力する。
表示フレーム生成部26は、出力フレーム合成部25から入力された画像から、画面配置設定部22に設定された図3(B)に示す表示フレームの位置に従って画像を切り出すことにより、表示フレームを生成する。
通信部27は、他の情報端末2との通信を行う。親の情報端末2−1の通信部27は、子の情報端末2−2、2−3からそれぞれの出力フレームを受信する。また、表示フレーム生成部26により生成された表示フレームを、当該表示フレームに対応する表示装置3へ配信する。
表示装置3は、プロジェクタや液晶ディスプレイ等であり、通信部31と表示部32を有する。
通信部31は、情報端末から配信された表示フレームを受信する。
表示部32は、通信部31により受信した表示フレームを投影する。
図5は、第1の実施形態に係るマルチプロジェクションシステム1のシーケンス図である。まず、各情報端末2の操作部21が、ユーザからの投影開始要求を受けると(ステップS1)、各情報端末2の親子端末決定部23が、後述する図6の処理により各情報端末2間での親子関係の判断を行う(ステップS2)。そして、自端末が親であると判断した情報端末2−1は、通信部27を介して、子の情報端末2−2、2−3に対して役割情報を送信する(ステップS3)。子の情報端末2−2、2−3の親子端末決定部23は、親の情報端末から通信部27を介して受信された役割情報により、親子関係を把握し、表示中画面取得部241により画面をキャプチャさせる(ステップS4)。子となった情報端末2は、画面キャプチャにより出力フレームを生成した後、通信部27を介して、親の情報端末2−1に出力フレームを送信する(ステップS5)。親の情報端末2−1は、表示フレームの更新タイミングになると、出力フレーム合成部25により当該表示フレームに含まれる出力フレームを合成し(ステップS6)、表示フレーム生成部26により各表示装置3で投影する当該表示フレームを生成し(ステップS7)、当該表示フレームに対応する表示装置3に配信する(ステップS8)。以降、ユーザの操作により投影終了の要求がなされるまで、ステップS5からステップS8までの処理を繰り返す。
なお、ステップ1にて、ユーザが各情報端末2の操作部21を操作する代わりに、ユーザが、親の情報端末2−1の操作部21を操作することにより、ステップ3の処理に進むようにしてもよい。
図6は、図5のステップS2における、親子関係を判断する処理のフローチャートである。図6の例では、画面配置設定部22に設定された各情報端末2の出力フレームの画面配置を用いて、情報端末2間の親子関係を決定する。例えば、合成される1つの大画面において、一番左に位置する出力フレームを持つ情報端末2(図1の情報端末2−1)が親となる。
まず、各情報端末2は、自端末の画面キャプチャにより生成される出力フレームの、合成される画面における位置を確認する(ステップS2−1)。そして、当該位置が一番左であるか判断し(ステップS2−2)、そうであれば(ステップS2−2でYES)自端末を親であると判断し(ステップS2−3)。そうでなければ(ステップS2−2でNO)、親からの役割情報を待ち受ける(ステップS2−4)。
図7は、図5のステップS7およびステップS8における、表示フレームを作成する処理のフローチャートである。
親の情報端末2−1の表示フレーム更新頻度決定部29は、図3に示す画面配置情報に基づき、表示フレーム毎の更新頻度を決定する(ステップS3−1)。そして、表示フレーム更新頻度決定部29は、表示フレームを更新するタイミングとなったことを検知すると、当該表示フレームの識別情報を出力フレーム合成部25に通知する(ステップS3−2)。出力フレーム合成部25は、図3に示す画面配置情報に基づき、表示フレーム更新頻度決定部29に通知された表示フレームの範囲に一部または全部が含まれる出力フレームの識別情報を取得する(ステップS3−3)。そして、子の情報端末2−2、2−3から受信して記憶している出力フレームの中から、当該識別情報に対応する出力フレームを取得し、取得した出力フレームの識別情報が複数ある場合は、当該識別情報に対応する複数の出力フレームを1つの画像に合成する(ステップS3−4)。そして、表示フレーム生成部26が、合成した画像から、当該表示フレームの範囲の画像を切り出すことにより、当該表示フレームを生成する(ステップS3−5)。なお、上記ステップS3−3、ステップS3−4の代わりに、全ての出力フレームを1つの画像に合成し、合成した1つの画像から各表示フレームを順次切り出すようにしてもよい。
なお、子の情報端末2−2、2−3から親の情報端末2−1に送信する各出力フレームは、JPEG等の静止画形式にて送信してもよいし、MPEG等の動画形式にて送信し、親の情報端末2−1にて静止画形式の出力フレームを生成するようにしてもよい。
なお、この実施形態は本発明の範囲を限定するものではなく、親の情報処理端末2−1の代わりに、図示しないサーバに、画面配置設定部23、出力フレーム合成部25、表示フレーム生成部26を設けても良い。また、当該サーバは複数台でも良く、どのサーバにどの機能部を備えさせても良い。
第1の実施形態では、一の情報端末2−1と他の複数の情報端末2−2、2−3とを接続し、さらに当該一の情報端末2−1と複数の表示装置3とを接続しているため、複数の情報処理装置2の各々が出力するデスクトップ画面等の動的に変わるコンテンツを、情報端末の台数と表示装置の台数とが異なる場合であっても、複数の表示装置3により1つの大画面として表示することができる。
また、1つの大画面における各情報端末が出力するコンテンツが表示される位置や大きさを、情報端末2に対する設定により任意に変更することができる。
また、特許文献1記載のマルチプロジェクションシステムでは、各コンピュータから各プロジェクタに出力して投影させる画像は、他のコンピュータから出力された画像と重なり合う領域も含む画像である必要があるため、各コンピュータのデスクトップ画面等、各コンピュータで表示される画面を、複数並べて1つの大画面として表示することはできなかった。一方、第1の実施形態では、一の情報端末と他の複数の情報端末とを接続し、さらに当該一の情報端末と複数の表示装置とを接続しているため、表示装置3としてプロジェクタを用いた場合でも、他の表示フレームを重なり合う領域の画像も含む表示フレームを生成することができ、複数の情報端末がそれぞれ出力するデスクトップ画面等の動的に変わるコンテンツを、複数のプロジェクタにより1つの大画面として表示することができる。また、表示装置3としてプロジェクタを用いることにより、液晶ディスプレイ等の表示画面に端にフレーム部分を有する表示装置3を用いる場合と比較して、画面中に当該フレーム部分がない1つの大画面として表示することができる。
また、上記ステップS3−3、ステップS3−4において、各表示フレームに含まれる出力フレームのみを合成していることにより、一度に必要なメモリ量を削減できる。
また、表示フレーム毎の更新頻度に応じて、表示フレームの生成、投影を行うことにより、表示の滑らかさが必要なコンテンツを含む表示フレームのみ更新頻度を上げることができ、親の情報端末2−1の処理負荷を削減できる。
<第2の実施形態>
図8は、第2の実施形態に係るマルチプロジェクションシステム1の構成図である。
第1の実施形態では、親の情報端末2−1が、画面配置設定部22、出力フレーム合成部25、表示フレーム生成部26を有していたが、第2の実施形態では、表示装置3が表示フレーム生成部33を有し、親および子の情報端末2−2、2−3が、画像生成部30を有する点が大きく異なる。
親の情報端末2−1の通信部27は、表示フレーム更新頻度決定部29で決定した表示フレーム毎の更新頻度と、画面配置設定部22に予め設定されている画面配置情報を、子の情報端末2−2、2−3に配信する。
また、親および子の情報端末2の通信部27は、画像生成部30で生成した、表示フレームの一部となる画像と、出力フレームの位置の情報と、表示フレームの位置の情報とを、当該表示フレームに対応する表示装置3それぞれに送信する。
親および子の情報端末2の画像生成部30は、図3に示す画面配置情報に基づき、自端末の出力フレームが、複数の表示フレームに分割されるか判断し、分割される場合は、自端末の出力フレームから、図9(B)のように表示フレーム中の一部となる画像をそれぞれ生成する。
図3(A)の例では、出力フレーム2に対応する、合成される1つの画像中の左下および右上の画素の位置は、(1921,0),(3840,1080)と設定され、図3(B)に示す例では、表示フレーム1の左下および右上の画素の位置は、(0,0),(2900,1080)、表示フレーム2の左下および右上の画素の位置は、(2861,0),(5760,1080)と設定されている。そのため、図9に示すように、出力フレーム1を出力する情報端末2−1が生成する表示フレーム1の一部となる画像は、出力フレーム1の全範囲であり、出力フレーム2を出力する情報端末2−2が生成する表示フレーム1の一部となる画像は、出力フレーム2の左下および右上の画素の位置が(1921,0),(2900,1080)の範囲である。また、出力フレーム2を出力する情報端末2−2が生成する表示フレーム2の一部となる画像は、出力フレーム2の左下および右上の画素の位置が(2861,0),(3840,1080)の範囲である。
表示装置3の表示フレーム生成部33は、受信した表示フレームを合成し、合成した表示フレームを表示部32から投影させる。
図10は、第2の実施形態に係るマルチプロジェクションシステム1のシーケンス図である。
ステップS1からステップS3までは、図5と同様である。ステップS3の後、親の情報端末2−1は、通信部27を介して、子の情報端末2−2、2−3に対して、表示フレーム更新頻度決定部29で決定した表示フレーム毎の更新頻度を配信する(ステップS4−3)。次に、親の情報端末2−1は、通信部27を介して、子の情報端末2−2、2−3に対して、画面配置設定部22に予め設定されている図3に示す画面配置情報を配信する(ステップS4−4)。そして、各情報端末2は、表示中画面取得部241により画面をキャプチャさせて出力フレームを生成し(ステップS4−5)、情報端末2の画像生成部30は、自端末の出力フレームが含まれる表示フレームの更新頻度にて、図3の画面配置情報に基づいて、出力フレームから、一または複数の表示フレームに振り分けられる、表示フレームの一部となる画像であるサブ出力フレームを切り出して生成する(ステップS4−6)。そして、表示フレームに対応する表示装置3に対し、当該表示フレームに振り分けられるサブ出力フレームと、当該表示フレームにおける当該サブ出力フレームの位置の情報とを送信する(ステップS4−7)。表示装置3の表示フレーム生成部33は、受信した情報に基づき表示フレームを合成し(ステップS4−8)、合成した表示フレームを表示部32により投影させる(ステップS4−9)。以降、ユーザの操作により投影終了の要求がなされるまで、ステップS4−5からステップS4−9までの処理を繰り返す。
なお、親および子の情報端末2に画像生成部30を設け、親の情報端末2から子の情報端末2に画面配置情報を配信する代わりに、親の情報端末2にのみ画像生成部30を設け、子の情報端末2毎に表示フレームの一部となる出力フレームの領域の情報を決定し、当該情報を子の情報端末2に配信するようにしてもよい。また、図10のステップS4−7の、表示装置3に対する表示フレームにおける画像の位置の情報の送信は、子の情報端末2から送信する代わりに、親の情報端末2から送信するようにしてもよい。
なお、この実施形態は本発明の範囲を限定するものではなく、情報処理端末2や表示装置3の代わりに、図示しないサーバに、画面配置設定部23、画像生成部30、表示フレーム生成部33等を設けても良い。また、当該サーバは複数台でも良く、どのサーバにどの機能部を備えさせても良い。
第2の実施形態では、複数の情報端末2と複数の表示装置3をN対Mで接続しているため、複数の表示フレームが重なる領域(図3(A)の例では出力フレーム2)を1台の情報端末2により生成することができる。そのため、第1の実施形態と同様に、他の表示フレームを重なり合う領域の画像も含む表示フレームを生成することができ、複数の情報端末がそれぞれ出力する動的に変わる複数のコンテンツを、複数の表示装置により1つの大画面として表示することができる。
また、第1の実施形態と比較して、情報端末間の通信を削減できるため、各情報端末から出力フレームが出力されてから表示装置にて投影されるまでの時間を削減できる。
また、表示フレーム毎の更新頻度に応じて、出力フレームから表示フレームの一部となる画像を切り出して送信することにより、複数の表示装置で投影することによる表示のずれを削減できる。
<第3の実施形態>
図11は、第3の実施形態に係るマルチプロジェクションシステム1の概念図である。図12は、第3の実施形態に係るマルチプロジェクションシステム1の構成図である。
第1の実施形態では、親子端末決定部23を有する複数の情報端末2が接続され、親の情報端末2−1が、自端末の出力フレームと、子の情報端末2−2、2−3から受信した出力フレームを合成して表示フレームを生成していたが、第3の実施形態では、1台の情報端末2が接続され、情報端末2が出力フレーム取得部24にて取得した複数のコンテンツから生成した出力フレームを合成して表示フレームを生成している点で大きく異なる。
情報端末2は、第1の実施形態と同様に、操作部21、画面配置設定部22、出力フレーム取得部24、出力フレーム合成部25、表示フレーム生成部26、通信部27、画面表示部28を有する。
図13は、第3の実施形態に係るマルチプロジェクションシステム1のシーケンス図である。まず、情報端末2の操作部21が、ユーザからの投影開始要求を受けると(ステップS5−1)、出力フレーム取得部24により出力フレームを取得させる(ステップS5−2)。そして、出力フレーム合成部25により出力フレームを合成し(ステップS5−3)、表示フレーム生成部26により各表示装置3で投影する表示フレームを生成し(ステップS5−4)、当該表示フレームに対応する表示装置3に配信する(ステップS5−5)。以降、ユーザの操作により投影終了の要求がなされるまで、ステップS5−2からステップS5−5までの処理を繰り返す。
図14は、第3の実施形態の情報端末2のフローチャートである。
まず、出力フレーム取得部24は、内部記憶装置またはネットワーク等で接続された外部記憶装置に格納されている動的なコンテンツを再生し、それぞれのコンテンツの再生画像をキャプチャして出力フレームを取得する(ステップS6−1)。そして、図3の画面配置情報に基づいて、未取得の出力フレームがあるか判断し(ステップS6−2)、あれば(ステップS6−2でYES)ステップS6−1に戻り、未取得の出力フレームを取得する。なければ(ステップS6−2でNO)、取得した複数の出力フレームを図3の画面配置情報に基づいて、1つの画像に合成し(ステップS6−3)、合成した画像から表示フレームを生成する(ステップS6−4)。そして、生成した表示フレームを、当該表示フレームに対応する表示装置3に配信する(ステップS6−5)。
図15は、上述した実施形態における情報端末2のハードウェア構成図である。
画面配置設定部22、出力フレーム取得部24、出力フレーム合成部25、表示フレーム生成部26、表示フレーム更新頻度決定部29、サブ出力フレーム生成部30等は、CPU(Central Processing Unit)201および記憶装置202により実現される。通信部27は、Ethernet(登録商標)203または無線LAN204により表示装置3と通信する。画面表示部28は、ディスプレイ205により実現される。
図16は、上述した実施形態における表示装置3のハードウェア構成図である。
通信部31は、Ethernet306または無線LAN307により情報端末2と通信する。表示フレーム生成部はCPU301等により実現される。表示部32は、CPU301、DSP(Digital Signal Processor)302により表示画像を生成し、作像エンジン303、光源304、レンズ305により投影を行う。
<変形例>
上述した実施形態では、表示装置3としてプロジェクタを用いた例を説明したが、表示装置3はプロジェクタに限らず、液晶ディスプレイなどであってもよい。その場合は、図3(B)の表示フレーム位置情報を、表示フレーム1の左下および右上の画素の位置を(0,0),(2880,1080)、表示フレーム2の左下および右上の画素の位置を(2881,0),(5760,1080)というように、表示フレーム1および表示フレーム2の画像が重ならないように表示フレームの位置を設定をすればよい。
また、情報端末2と表示装置3は、同じ筐体内に設けてもよい。
なお、上述した実施形態における、情報端末2と表示装置3とが接続されたシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
1 マルチプロジェクションシステム
2 情報端末(「情報処理装置」の一例)
21 操作部
22 画面配置設定部(「画面配置設定手段」の一例)
23 親子端末決定部
24 出力フレーム取得部(「出力フレーム取得手段」の一例)
241 表示中画面取得部
25 出力フレーム合成部(「出力フレーム合成手段」の一例)
26 表示フレーム生成部(「表示フレーム生成手段」の一例)
27 通信部(「出力フレーム取得手段」、「送信手段」の一例)
28 画面表示部
29 表示フレーム更新頻度決定部(「表示フレーム更新頻度決定手段」の一例)
30 サブ出力フレーム生成部(「サブ出力フレーム生成手段」の一例)
3 表示装置
31 通信部
32 表示部(「表示手段」の一例)
33 表示フレーム生成部(「表示フレーム生成手段」の一例)
特開2008−107477号公報

Claims (9)

  1. 複数の情報処理装置からそれぞれ出力される各出力フレームを、複数の表示装置の各々が表示する各表示フレームにより1つの画面として表示するマルチプロジェクションシステムであって、
    前記各出力フレームを前記1つの画面に合成する際の、前記1つの画面における前記出力フレーム毎の位置の情報である出力フレーム位置情報、及び前記1つの画面における前記表示フレーム毎の位置の情報である表示フレーム位置情報を設定する画面配置設定手段と、
    前記複数の情報処理装置からそれぞれ出力される複数の出力フレームを取得する出力フレーム取得手段と、
    前記出力フレーム位置情報に基づいて、前記複数の出力フレームを合成する出力フレーム合成手段と、
    前記表示フレーム位置情報に基づいて、前記合成した画像の少なくとも一部を用いて、前記表示装置毎の前記表示フレームを生成する表示フレーム生成手段と、
    生成した複数の前記表示フレームを表示する表示手段を備える、
    マルチプロジェクションシステム。
  2. 前記出力フレーム合成手段は、
    前記出力フレーム位置情報、及び前記表示フレーム位置情報に基づいて、前記各表示フレームに含まれる複数の前記出力フレームのみを合成する、
    請求項1記載のマルチプロジェクションシステム。
  3. 前記出力フレーム位置情報、前記表示フレーム位置情報、及び前記出力フレーム毎の更新頻度の情報である出力フレーム更新頻度情報に基づき、前記各表示フレームに含まれる前記出力フレームのうち、最も更新頻度が高い出力フレームの更新頻度をその表示フレームの更新頻度と決定する表示フレーム更新頻度決定手段を有し、
    前記表示フレーム生成手段は、
    前記表示フレーム更新頻度決定手段により決定された前記各表示フレームの更新頻度に基づく周期により、前記各表示フレームを生成する、
    請求項1または2記載のマルチプロジェクションシステム。
  4. 複数の情報処理装置からそれぞれ出力される各出力フレームを、複数の表示装置の各々が表示する各表示フレームにより1つの画面として表示するマルチプロジェクションシステムであって、
    前記各出力フレームを前記1つの画面に合成する際の、前記1つの画面における前記出力フレーム毎の位置の情報である出力フレーム位置情報、及び前記1つの画面における前記表示フレーム毎の位置の情報である表示フレーム位置情報を設定する画面配置設定手段と、
    前記情報処理装置から出力される出力フレームを取得する出力フレーム取得手段と、
    前記出力フレーム位置情報、及び前記表示フレーム位置情報に基づき、一の前記出力フレームから、複数の前記表示フレームに振り分けられる、前記表示フレームの一部となる画像であるサブ出力フレームを複数生成するサブ出力フレーム生成手段と、
    前記表示フレームに含まれる前記サブ出力フレームを用いて当該表示フレームを生成する表示フレーム生成手段と、
    前記表示フレームを表示する表示手段と、
    を備えるマルチプロジェクションシステム。
  5. 前記サブ出力フレーム生成手段は、
    前記表示フレームに含まれる出力フレームのうち、最も更新頻度が高い出力フレームの更新頻度に基づく周期により、前記サブ出力フレームを生成する、
    請求項4記載のマルチプロジェクションシステム。
  6. 前記表示装置はプロジェクタであり、
    前記表示フレーム位置情報は、
    各表示フレームの一部が、他の表示フレームの一部と重なるように設定される、
    請求項1乃至5いずれか一項に記載のマルチプロジェクションシステム。
  7. 複数の情報処理装置からそれぞれ出力される各出力フレームを、複数の表示装置の各々が表示する各表示フレームにより1つの画面として表示するマルチプロジェクションシステムに用いられる情報処理装置であって、
    前記各出力フレームを前記1つの画面に合成する際の、前記1つの画面における前記出力フレーム毎の位置の情報である出力フレーム位置情報、及び前記1つの画面における前記表示フレーム毎の位置の情報である表示フレーム位置情報を設定する画面配置設定手段と、
    前記各出力フレームを取得する出力フレーム取得手段と、
    前記出力フレーム位置情報に基づいて、複数の前記出力フレームを合成する出力フレーム合成手段と、
    前記表示フレーム位置情報に基づいて、前記合成した画像の少なくとも一部を用いて、表示装置毎の前記表示フレームを生成する表示フレーム生成手段と、
    生成した複数の前記表示フレームを、前記各表示フレームに対応する表示装置に送信する送信手段と、
    を備える情報処理装置。
  8. 複数の情報処理装置からそれぞれ出力される各出力フレームを、複数の表示装置の各々が表示する各表示フレームにより1つの画面として表示するマルチプロジェクションシステムに用いられる情報処理装置であって、
    前記各出力フレームを前記1つの画面に合成する際の、前記1つの画面における前記出力フレーム毎の位置の情報である出力フレーム位置情報、及び前記1つの画面における前記表示フレーム毎の位置の情報である表示フレーム位置情報を設定する画面配置設定手段と、
    前記出力フレームを取得する出力フレーム取得手段と、
    前記出力フレーム位置情報、及び前記表示フレーム位置情報に基づき、一の前記出力フレームから、複数の前記表示フレームに振り分けられる、前記表示フレームの一部となる画像であるサブ出力フレームを複数生成するサブ出力フレーム生成手段と、
    生成された前記画像を、前記表示フレームに対応する表示装置に送信する送信手段と、
    を備える情報処理装置。
  9. 請求項7または8に記載の情報処理装置における各手段をコンピュータに実行させるためのプログラム。
JP2015016042A 2015-01-29 2015-01-29 マルチプロジェクションシステム、情報処理装置、及びプログラム Pending JP2016142761A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015016042A JP2016142761A (ja) 2015-01-29 2015-01-29 マルチプロジェクションシステム、情報処理装置、及びプログラム
US14/989,915 US9756302B2 (en) 2015-01-29 2016-01-07 Multi-projection system and data processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015016042A JP2016142761A (ja) 2015-01-29 2015-01-29 マルチプロジェクションシステム、情報処理装置、及びプログラム

Publications (1)

Publication Number Publication Date
JP2016142761A true JP2016142761A (ja) 2016-08-08

Family

ID=56554999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015016042A Pending JP2016142761A (ja) 2015-01-29 2015-01-29 マルチプロジェクションシステム、情報処理装置、及びプログラム

Country Status (2)

Country Link
US (1) US9756302B2 (ja)
JP (1) JP2016142761A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594170B2 (ja) * 2015-11-12 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP6747025B2 (ja) * 2016-04-13 2020-08-26 セイコーエプソン株式会社 表示システム、表示装置、及び、表示システムの制御方法
JP6422620B2 (ja) * 2016-09-14 2018-11-14 三菱電機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
CN111831246B (zh) * 2020-07-27 2021-06-08 深圳乐播科技有限公司 基于5g网络的投屏方法、装置、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7002589B2 (en) * 2000-03-17 2006-02-21 Sun Microsystems, Inc. Blending the edges of multiple overlapping screen images
US20080002160A1 (en) * 2006-06-30 2008-01-03 Nelson Liang An Chang System and method for generating and displaying sub-frames with a multi-projector system
US20080024469A1 (en) * 2006-07-31 2008-01-31 Niranjan Damera-Venkata Generating sub-frames for projection based on map values generated from at least one training image
JP2008107477A (ja) 2006-10-24 2008-05-08 Seiko Epson Corp マルチディスプレイシステム、情報処理装置、プログラム、及び記録媒体
US20080101725A1 (en) * 2006-10-26 2008-05-01 I-Jong Lin Image display system configured to update correspondences using arbitrary features
JP5994473B2 (ja) 2012-08-13 2016-09-21 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6146143B2 (ja) * 2013-05-31 2017-06-14 株式会社Jvcケンウッド マルチプロジェクタシステム、投射装置、調整装置および画像調整方法、ならびに、画像調整プログラム
JP6421445B2 (ja) * 2014-01-24 2018-11-14 株式会社リコー 投影システム、画像処理装置、校正方法、システムおよびプログラム
JP2016170351A (ja) * 2015-03-13 2016-09-23 株式会社リコー 表示制御装置、表示制御システム、及び表示制御プログラム
JP6554873B2 (ja) * 2015-03-31 2019-08-07 株式会社リコー 投影システム、画像処理装置、校正方法およびプログラム
JP6701669B2 (ja) * 2015-10-29 2020-05-27 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び、画像投射システムの制御方法
AU2015275255A1 (en) * 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Multi-projector alignment refinement

Also Published As

Publication number Publication date
US20160227179A1 (en) 2016-08-04
US9756302B2 (en) 2017-09-05

Similar Documents

Publication Publication Date Title
CN109831662B (zh) Ar眼镜屏幕的实时画面投射方法、装置及控制器和介质
KR102463304B1 (ko) 비디오 처리 방법 및 장치, 전자기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램
US20180025470A1 (en) System and apparatus for editing preview images
JP2016142761A (ja) マルチプロジェクションシステム、情報処理装置、及びプログラム
JP2009020390A (ja) 表示システム、表示装置および表示方法
JP2013131990A (ja) 情報処理装置及びプログラム
CN106354462B (zh) 一种文档在多个设备中同步显示的方法、设备及系统
EP4160386A1 (en) Efficient communication interface for casting interactively controlled visual content
CN101902596B (zh) 一种图像处理方法、图像处理装置和数字电视接收终端
CN110928509B (zh) 显示控制方法、显示控制装置、存储介质、通信终端
JP5842392B2 (ja) コンテンツ共有システム、コンテンツ共有端末、サーバ、コンテンツ共有方法、および、コンピュータ・プログラム
US20160277652A1 (en) Image pickup apparatus, image capturing system, method of controlling image pickup apparatus, method of controlling image capturing system, and program
CN113923498A (zh) 一种处理方法及装置
WO2022052742A1 (zh) 多终端屏幕组合方法、装置、设备和计算机存储介质
JP2013135422A (ja) 画像合成装置、端末装置、画像合成システム及びプログラム
TW202329674A (zh) 直播錄設備、直播錄系統及直播錄方法
CN113515244A (zh) 基于投屏的终端遥控方法、装置、设备及存储介质
JP2013125526A (ja) 画像表示装置、その制御方法及びプログラム
JP2005292876A (ja) 画像表示システム
US12022241B2 (en) Image projection method and projector
US11334309B2 (en) Image display method, apparatus and computer readable storage medium
US20200183633A1 (en) Method for controlling display device, display device, method for controlling display system, and display system
EP2237564A1 (en) Display method for determining attribute of image to be projected, according to user's manipulation on image projection screen, and display apparatus using the same
JP2015023466A (ja) 配信システム、配信方法、及びプログラム
CN116506682A (zh) 分布式编辑方法和装置