JP2013191028A - 画面共有装置、画面共有方法、及び、画面共有プログラム - Google Patents

画面共有装置、画面共有方法、及び、画面共有プログラム Download PDF

Info

Publication number
JP2013191028A
JP2013191028A JP2012056975A JP2012056975A JP2013191028A JP 2013191028 A JP2013191028 A JP 2013191028A JP 2012056975 A JP2012056975 A JP 2012056975A JP 2012056975 A JP2012056975 A JP 2012056975A JP 2013191028 A JP2013191028 A JP 2013191028A
Authority
JP
Japan
Prior art keywords
screen
image
block image
block
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012056975A
Other languages
English (en)
Other versions
JP5942498B2 (ja
Inventor
Hiroyuki Kobayashi
弘幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012056975A priority Critical patent/JP5942498B2/ja
Priority to US13/795,178 priority patent/US20130241803A1/en
Publication of JP2013191028A publication Critical patent/JP2013191028A/ja
Application granted granted Critical
Publication of JP5942498B2 publication Critical patent/JP5942498B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】複数の情報端末間でのアプリケーション実行画面の共有機能を高速に実現する。
【解決手段】本願発明の画面共有装置は、ソフトウェアによりスクロールされてその一部である表示領域が画面に表示される全体画像を複数に分割したブロック画像と、各々のブロック画像を識別する識別情報を、対応付けて格納するブロック画像情報格納手段と、ブロック画像の識別情報と、当該ブロック画像の画面における表示位置を示す位置情報を受信して、識別情報に対応するブロック画像をブロック画像情報格納手段から読み出して、画面における位置情報が示す位置に表示する画面表示手段と、を備える。
【選択図】 図1

Description

本願発明は、複数の情報端末間でのアプリケーション実行画面の共有機能を高速に実現するための画面共有装置、画面共有方法、及び、画面共有プログラムに関する。
近年のIT環境の発展により、会議をTV会議やWeb会議等の形式で開催するケースが増加してきている。TV会議やWeb会議においてプレゼンテーションを行うような場合、出席者の情報端末間でアプリケーション実行画面を共有することが必要不可欠である。このとき、実行画面に関するデータ転送に時間がかかると、発表者の操作画面と、出席者が見る画面との間に時間差が生じ、出席者にとってプレゼンテーションの内容が理解しづらくなる恐れがある。したがって、TV会議やWeb会議においては、アプリケーション実行画面の共有機能をいかに高速に実現するかが重要な課題の一つである。
このような課題に対応した関連技術の例として、特許文献1には、各フレームの画像データを複数のブロック領域に分割し、1つ前のフレームから画像データに変更が生じたブロック領域についてのみ画像データを送信する、画像データ送信方法が公開されている。
また、別の関連技術の例として、特許文献2には、送信側装置が、自装置又は受信側装置の処理能力に基づいて、受信側装置に送信する画像のブロックサイズを決定して、ブロク画像を送信する画像データ送信方法が公開されている。
特開2005-269272 特開2009-245254
前述の特許文献1の技術では、アプリケーション実行画面共有時のあるフレームの画像が、1画面分のスクロールなどにより、1つ前のフレームの画像と比較して全体的に大きく変わった場合は、そのフレーム全体分のブロック場像を送信しなければならず、画面共有処理の低速化を回避できない。
また、前述の特許文献2の技術では、自装置や受信側装置が、他の実行プログラムの影響で高負荷状態になった場合、送信画像のブロックサイズを変更して画像データ送信に係る負荷処理を小さくしたとしても最適化には限界があり、画面共有処理の低速化を回避できない可能性がある。
共有するアプリケーションの実行画面や装置の負荷の状態等にかかわらず、アプリケーション実行画面の共有機能を高速化することが重要な課題である。
本願発明の目的は、このような課題を解決した画面共有装置、画面共有方法、及び、画面共有プログラムを提供することである。
本願発明の一実施形態の画面共有装置は、ソフトウェアによりスクロールされてその一部である表示領域が第一の画面に表示される全体画像を複数に分割したブロック画像と、各々の前記ブロック画像を識別する識別情報を、対応付けて格納するブロック画像情報格納手段と、前記ブロック画像の識別情報と、当該ブロック画像の前記第一の画面における表示位置を示す位置情報を受信して、前記識別情報に対応する前記ブロック画像を前記ブロック画像情報格納手段から読み出して、前記第一の画面における前記位置情報が示す位置に表示する画面表示手段と、を備える。
本願発明の一実施形態の画面共有方法は、ソフトウェアによりスクロールされてその一部である表示領域が第一の画面に表示される全体画像を複数に分割したブロック画像と、各々の前記ブロック画像を識別する識別情報を、対応付けて第一の記憶域に格納し、前記ブロック画像の識別情報と、当該ブロック画像の前記第一の画面における表示位置を示す位置情報を受信して、前記識別情報に対応する前記ブロック画像を前記第一の記憶域から読み出して、前記第一の画面における前記位置情報が示す位置に表示する。
本願発明の一実施形態の画面共有プログラムは、ソフトウェアによりスクロールされてその一部である表示領域が第一の画面に表示される全体画像を複数に分割したブロック画像と、各々の前記ブロック画像を識別する識別情報を、対応付けて第一の記憶域に格納するブロック画像情報格納処理と、前記ブロック画像の識別情報と、当該ブロック画像の前記第一の画面における表示位置を示す位置情報を受信して、前記識別情報に対応する前記ブロック画像を前記第一の記憶域から読み出して、前記第一の画面における前記位置情報が示す位置に表示する画面表示処理と、をコンピュータに実行させる。
本願発明は、複数の情報端末間でのアプリケーション実行画面の共有機能を高速に実現する。
本願発明の第1の実施形態の画面共有装置の構成を示すブロック図である。 本願発明の第1の実施形態のアプリケーション共有開始処理の動作を示すフローチャートである。 本願発明の第1の実施形態のアプリケーション共有中の動作を示すフローチャートである。 本願発明の第1の実施形態におけるアプリケーション共有開始処理における1番目の表示画像のブロック画像データの格納例である。 本願発明の第1の実施形態におけるアプリケーション共有開始処理における2番目の表示画像のブロック画像データの格納例である。 本願発明の第1の実施形態におけるアプリケーション共有中のブロック画像のID情報、位置情報の送信例(ブロック画像データに更新がない場合)である。 本願発明の第1の実施形態におけるアプリケーション共有中のブロック画像のID情報、位置情報の送信例(ブロック画像データに更新がある場合)である。 本願発明の第2の実施形態の画面共有装置の構成を示すブロック図である。 本願発明の第2の実施形態における画像情報送信部のブロック画像の位置情報算出例である。 本願発明の第3の実施形態の画面共有装置の構成を示すブロック図である。
本願発明の第一の実施の形態について図面を参照して詳細に説明する。
図1は、本実施形態の画面共有装置の構成を示すブロック図である。
本実施形態の画面共有装置1は、送信側装置2と受信側装置3とを包含している。送信側装置2は、アプリケーションを実行してその実行画面のデータを表示すると共に受信側装置3に送信する。受信側装置3は、受信した実行画面のデータを画面表示することで、送信側装置2と受信側装置3との間で、アプリケーション画面共有処理を実現する。
送信側装置2は、表示画面20と、ブロック画像取得部21と、画像情報送付部22と、通信部24とを包含している。さらに、画像情報送付部22は、ブロック画像送信情報格納部23を包含している。
受信側装置3は、表示画面30と、画面表示部31と、ブロック画像情報格納部32と、通信部33とを包含している。
画面共有装置1は、送信側装置2から受信側装置3へのアプリケーション実行画面の共有を開始するにあたり、下記の通り、アプリケーション共有開始処理を実行する。アプリケーション共有開始処理の詳細を図4、図5に示す。
全体画像100は、アプリケーションが出力する全画像データである。アプリケーション共有中は、アプリケーションの操作担当者が、全体画像100を表示画面20上で画面スクロールさせることで、全体画像100を表示画面20に順番に表示させる。
ブロック画像取得部21は、アプリケーション画面共有開始時に、まず表示画面20に表示された1番目の表示画像を読み込む。図1、図4に示すとおり、ブロック画像取得部21は、表示画面20に表示された画像を3x3=9個のブロック画像に分割して、各々のブロック画像に1乃至9の識別IDを付与する。ブロック画像取得部21は、9個のブロック画像のデータと、各々のブロック画像の識別IDを対応付けて、ブロック画像送信情報230として、ブロック画像送信情報格納部23へ格納する。
ブロック画像取得部21は、識別ID1乃至9のブロック画像を、その識別IDとともに、通信部24を介して受信側装置3へ送付する。受信側装置3におけるブロック画像情報格納部32は、識別ID1乃至9のブロック画像と、その識別IDを、通信部33を介して受信し、各ブロック画像のデータとその識別IDを対応付けて、ブロック画像情報320として格納する。
ブロック画像取得部21は、引き続いて、表示画面20の表示画像を1画面分スクロールさせて、2番目の表示画像を読み込む。ブロック画像取得部21による2番目の表示画像のブロック画像データの格納例の詳細を図5に示す。ブロック画像取得部21は、1番目の表示画像のときと同様に、表示画像を9個のブロック画像に分割し、各々のブロック画像に10乃至18の識別IDを付与する。ブロック画像取得部21は、識別ID10乃至18のブロック画像のデータと識別IDを対応付けて、ブロック画像送信情報格納部23へ格納するとともに、通信部24を介して受信側装置3へ送付する。ブロック画像情報格納部32は、受信した識別ID10乃至18のブロック画像と、その識別IDを格納する。
ブロック画像取得部21は、引き続いて、表示画面20の表示画像を1画面分スクロールさせて3番目以降の画像を表示させ、各表示画像について同様の処理を行う。ブロック画像取得部21は、表示画面20の画像をスクロールさせて読み込んだ表示画像が1回前の表示画像と一致した場合、その画像がアプリケーションの最終画像であり、全体画像100の読み取り完了と判断する。そして、ブロック画像取得部21は、表示画面20を1番目の表示画像までスクロールして戻し、アプリケーション共有開始処理の完了報告信号を受信側装置3へ送信する。
画面共有装置1は、上述のアプリケーション共有開始処理が完了すると、アプリケーション共有処理を開始する。表示画面20に表示された表示画像が包含するブロック画像データに更新がない場合の画面共有装置1の動作例の詳細を図6に示す。
画像情報送付部22は、表示画面20の表示画像を読み込み、表示画像の一部分と、ブロック画像送信情報230に登録されている54個のブロック画像とのパターンマッチングを、表示画像におけるマッチング領域の座標を移動させながら行う。パターンマッチングの結果、識別ID4乃至6の3個のブロック画像について、下半分の画像が一致する。識別ID7乃至12の6個のブロック画像について、全体の画像が一致する。識別ID13乃至15の3個のブロック画像について、上半分の画像が一致する。
画像情報送付部22は、一致したブロック画像の表示画面20における位置情報を、そのブロック画像の左上の頂点の座標で算出する。座標は、表示画面20の左上の頂点を原点とし、原点から右方向をX軸の正方向とし、原点から下方向をY軸の正方向として表記する。各ブロック画像の一辺の長さは50であり、表示画面20の一辺の長さは150である。例えば、識別ID4のブロック画像は、上半分が表示画面20からはみ出した状態であるので、その座標は(0,−25)となる。同様に識別ID8のブロック画像の座標は(50,25)、識別ID15のブロック画像の座標は(100,125)となる。
画像情報送付部22は、一致した識別ID4乃至15のブロック画像の識別IDに、上述の位置情報を対応付けて、通信部24を介して受信側装置3へ送信する。
受信側装置3における画像表示部31は、通信部33を介して、ブロック画像の識別IDと、対応する位置情報を受信する。画像表示部31は、受信した識別ID4乃至15のブロック画像の画像データを、ブロック画像格納部32から読み出す。そして、画像表示部31は、読み出したブロック画像を、表示画面30における各ブロック画像に対応する位置情報が示す位置に表示する。表示画面30の一辺の長さも、表示画面20と同じ150である。
画像表示部31は、送信側装置1からブロック画像の識別ID情報と位置情報を受信するたびに、同様の処理を行う。
次に、アプリケーションがアプリケーション共有中に全体画像100を更新したことにより、ブロック画像データに更新が発生した場合の画面共有装置1の動作例の詳細を図7に示す。
画像情報送付部22は、表示画面20の表示画像の一部分と、ブロック画像送信情報230に登録されているブロック画像とパターンマッチングを行い、その結果、識別ID7乃至8のブロック画像について一致する。画像情報送信部22は、識別ID7乃至8と、対応する位置情報を、送信部24を介して受信側装置3へ送信する。
識別ID7乃至8のブロック画像と一致した部分を除く表示領域については、ブロック画像送信情報230に登録されたブロック画像の中に一致するものが存在しなく、画像情報送信部22は、ブロック画像未登録の領域であると判断する。画像情報送付部22は、ブロック画像取得部21に、未登録領域の位置情報を送付して、未登録領域に関してブロック画像の追加定義を指示する。
ブロック画像取得部21は、表示画面20の表示画像を読み取り、未登録領域を6個のブロック画像に分割し、各々のブロック画像に55乃至61の識別IDを付与する。ブロック画像取得部21は、識別ID55乃至61のブロック画像のデータと識別IDを対応付けて、ブロック画像送信情報格納部23へ格納するとともに、通信部24を介して受信側装置3へ送付する。ブロック画像情報格納部32は、受信した識別ID55乃至61のブロック画像と、その識別IDを格納する。
画像情報送付部22は、新規登録された識別ID55乃至61のブロック画像の識別IDと位置情報を対応付けて、通信部24を介して受信側装置3へ送信する。
受信側装置3における画像表示部31は、図6に示す例と同様の処理を行い、識別ID7乃至8、および識別ID55乃至61のブロック画像を表示画面30に表示する。
アプリケーションの操作担当者が、アプリケーション共有終了コマンドを送信側装置2に入力すると、画像情報送付部22は、アプリケーション共有終了信号を、通信部24を介して受信側装置3へ送信し、アプリケーション共有処理は終了する。
次に図2のフローチャートを参照して、本実施形態のアプリケーション共有開始処理の動作について詳細に説明する。
ブロック画像取得部21は、表示画面20に表示された画像を読み込む(S101)。1回前に読み込んだ表示画像と一致していない場合(S102でNo)、ブロック画像取得部21は、読み込んだ表示画像をブロック画像に分割し、各ブロック画像に対して識別IDを付与し、ブロック画像と識別IDをブロック画像送信情報格納部23に格納する(S103)。
ブロック画像取得部21は、ブロック画像と識別IDを、通信部24を介して受信側装置3へ送信する(S104)。受信側装置3は、ブロック画像と識別IDを、通信部33を介して受信し、ブロック画像情報格納部32へ格納する(S105)。ブロック画像取得部21は、表示画面20を1画面分スクロールし(S106)、S101へ戻る。
S102において、1回前に読み込んだ表示画像と一致している場合(S102でYes)、ブロック画像取得部21は、表示画面20を最初の表示画像にまで戻し、アプリケーション共有開始処理終了報告を、受信側装置3へ送信し(S107)、全体の処理は終了する。
次に図3のフローチャートを参照して、本実施形態のアプリケーション共有中の動作について詳細に説明する。
画像情報送付部22は、表示画面20に表示された画像を読み込む(S201)。画像情報送付部22は、読み込んだ画像の中に、ブロック画像送信情報230におけるブロック画像と一致する部分があるかどうか、読み込んだ画像におけるマッチング領域の座標を移動させながらパターンマッチングを実施する(S202)。一致する部分が存在する場合(S203でYes)、画像情報送付部22は、一致したブロック画像の識別IDと、表示画面20における一致部分の座標の情報を、通信部24を介して受信側装置3へ送信する(S204)し、処理はS202へ戻る。一致する部分が存在しない場合(S203でNo)、処理はS205へ移動する。
画像情報送付部22が読み込んだ画像においてブロック画像未登録部分が存在する場合(S205でYes)、画像情報送付部22は、ブロック画像取得部21に表示画面20における未登録部分の位置情報を送付し、ブロック画像の追加定義を指示する(S206)。ブロック画像取得部21は、未登録部分の座標の情報から、未登録部分をブロック画像に分割し、各ブロック画像に対して識別IDを付与し、ブロック画像と識別IDをブロック画像送信情報格納部23に格納する(S207)。ブロック画像取得部21は、未登録部分のブロック画像と識別IDを、通信部24を介して受信側装置3へ送信する(S208)。
受信側装置3は、ブロック画像と識別IDを、通信部33を介して受信し、ブロック画像情報格納部32へ格納する(S209)。画像情報送付部22は、新規登録分のブロック画像の識別IDと、表示画面20における座標の情報を、通信部24を介して受信側装置3へ送信(S210)、処理はS211に進む。
画像情報送付部22が読み込んだ画像においてブロック画像未登録部分が存在しない場合(S205でNo)、画面表示部31は、通信部33を介して受信したブロック画像の識別IDのブロック画像を、ブロック画像情報格納部32から読み出して、当該ブロック画像を、表示画面30における受信した座標の情報が示す位置に画面表示する(S211)。
アプリケーション操作担当者がアプリケーション共有終了コマンドを送信側装置2に入力しない場合(S212でNo)、処理はS201へ戻る。アプリケーション操作担当者がアプリケーション共有終了コマンドを送信側装置2に入力した場合(S212でYes)、画像情報送付部22は、アプリケーション共有終了信号を、通信部24を介して受信側装置3へ送信し(S213)、全体の処理は終了する。
本実施形態には、送信側装置2から受信側装置3へのアプリケーション実行画面の共有処理を高速に行うという効果がある。その理由は、送信側装置2が、アプリケーションが扱う全実行画面を共有開始処理時に予めブロック画像に分割して受信側装置3に登録し、画面共有中は、表示画像が包含するブロック画像の識別IDと位置情報のみを受信側装置3に送信し、受信側装置3が、登録されたブロック画像のデータと受信した前述の情報を基に、表示画面20の表示画像を表示画面30に表示するからである。
識別IDと位置情報のデータサイズは、画像データと比較して小さいため、送信側装置2が受信側装置3へ送信するデータサイズは小さくなる。また、本実施形態では、アプリケーションが扱う全実行画面に関するブロック画像の登録を共有開始処理時に一括して行う。したがって、表示画面を画面単位で切り替えたとしても、画面共有中に表示画像への新規書き込み等を行わない限りは、送信側装置2から受信側装置3へのブロック画像データの送信は発生せず、画面共有処理が遅くなる要因を回避できる。
<第二の実施形態>
次に、本願発明の第二の実施形態について図面を参照して詳細に説明する。
図8は、本実施形態の画面共有装置の構成を示すブロック図である。
本実施形態の画面共有装置1は、画像情報送付部22が、第一の実施形態におけるブロック画像送信情報格納部23の代わりにアプリケーション操作検出部25を備えている点で、第一の実施形態とは異なる。
アプリケーション操作検出部25は、送信側装置2で実行されているソフトウェアが実行する画面操作コマンドを検出する。画像情報送付部22は、検出された画面操作コマンドの情報と、画面操作コマンド実行前の表示画面20の表示画像の全体画像100における位置情報を基に、画面操作コマンド実行後の表示画面20の表示画像が包含するブロック画像の位置情報を算出する。
本実施形態における画像情報送付部22のブロック画像の位置情報算出例の詳細を図9に示す。今、表示画面20は、識別ID7乃至9、12乃至14、17乃至19のブロック画像を表示している。各ブロック画像の一辺の長さは第一の実施形態と同様に50であり、このときの全体画像100における表示画面20の左上の頂点の座標は(50,50)である。尚、座標は、全体画像100の左上の頂点を原点とし、原点から右方向をX軸の正方向とし、原点から下方向をY軸の正方向として表記する。
この状態で、アプリケーションが、表示画面20の表示画像をX方向に25、Y方向に75スクロールさせる画面操作コマンドscroll(25,75)を実行する。アプリケーション操作検出部25は、実行された画面操作コマンドscroll(25,75)を検出する。画像情報送付部22は、検出された画面操作コマンドの情報から、画面操作コマンド実行後の、全体画像100における表示画面20の座標が(75,125)に移動したことを算出する。表示画面20の座標が決まれば、表示画面20が包含するブロック画像の、表示画面20における位置情報は一意に決定するので、画像情報送付部22は、表示画面20が包含する各ブロック画像の座標を算出する。図9の例の場合、表示画面20は、識別ID12乃至15、17乃至20、22乃至25、27乃至30のブロック画像を包含し、各ブロック画像の座標は図9に示すとおりである。画像情報送付部22は、算出したブロック画像の位置情報を、当該ブロック画像の識別IDと対応付けて、通信部24を介して受信側装置3へ送信する。その後の画面共有装置1の動作は、第一の実施形態と同様である。
本実施形態には、送信側装置2から受信側装置3へのアプリケーション実行画面の共有処理を高速に行うという効果があり、その理由は、第一の実施形態の説明で記載したとおりである。
本実施形態は、画像情報送付部22の、表示画面20の表示画像に含まれるブロック画像の識別IDとその位置情報の検出動作において、第一の実施形態のような画像同士のパターンマッチングを行うのではなく、アプリケーションが実行する画面操作コマンドの情報から算出するため、第一の実施形態と比較して、検出動作の負荷が軽減される効果がある。
また、画像情報送付部22は、第一の実施形態におけるブロック画像送信情報格納部23のようなブロック画像のデータベースを備える必要がなく、画面共有装置1が備えるハードウェア量を削減する効果もある。
<第三の実施形態>
次に、本願発明の第三の実施形態について図面を参照して詳細に説明する。
図10は、本実施形態の画面共有装置の構成を示すブロック図である。
本実施形態の画面共有装置1は、表示画面30と、画面表示部31と、ブロック画像情報格納部32とを包含している。
ブロック画像情報格納部32は、外部の装置(未記載)で実行されるソフトウェアによりスクロールされてその一部が表示領域として表示画面30に表示される全体画像を複数に分割したブロック画像と、各々のブロック画像を識別する識別IDを、対応付けて格納している。
画面表示部31は、ブロック画像の識別IDと、当該ブロック画像の表示画面30における表示位置を示す位置情報を外部の装置から受信して、識別IDに対応するブロック画像をブロック画像情報格納部32から読み出して、表示画面30における上述の位置情報が示す位置に表示する。
本実施形態には、外部の装置で実行されるアプリケーション実行画面を、表示画面30で共有する処理を高速に行うという効果がある。その理由は、画像表示部31が、外部の装置からブロック画像の識別IDと当該ブロックの位置情報をのみを受信して、識別IDに対応するブロック画像をブロック画像情報格納部32から読み出して表示画面30に表示するため、データ量の多いブロック画像自体のデータを受信する必要がないからである。
本実施形態は、ブロック画像情報格納部32への、アプリケーション実行画面のブロック画像と識別IDの登録方法については規定していない。例えば、ブロック画像と識別IDを、アプリケーション操作担当者が事前にブロック画像情報格納部32に入力する方式でもよい。その場合、アプリケーションが表示する表示画像に変更を加えないのであれば、第一乃至第二の実施形態にあるブロック画像取得部21は不必要となるため、第一乃至第二の実施形態と比較して簡易な装置構成で、同様な効果を実現できる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 画面共有装置
2 送信側装置
20 表示画面
21 ブロック画像取得部
22 画像情報送付部
23 ブロック画像送信情報格納部
230 ブロック画像送信情報
24 通信部
25 アプリケーション操作検出部
3 受信側装置
30 表示画面
31 画面表示部
32 ブロック画像情報格納部
320 ブロック画像情報
33 通信部
100 全体画像

Claims (10)

  1. ソフトウェアによりスクロールされてその一部である表示領域が第一の画面に表示される全体画像を複数に分割したブロック画像と、各々の前記ブロック画像を識別する識別情報を、対応付けて格納するブロック画像情報格納手段と、
    前記ブロック画像の識別情報と、当該ブロック画像の前記第一の画面における表示位置を示す位置情報を受信して、前記識別情報に対応する前記ブロック画像を前記ブロック画像情報格納手段から読み出して、前記第一の画面における前記位置情報が示す位置に表示する画面表示手段と、
    を備える画面受信装置。
  2. 前記表示領域が表示された前記第一の画面と同じサイズの第二の画面上で、画面キャプチャーとスクロールを繰り返して前記全体画像のデータを取得し、前記ブロック画像のデータを生成して、当該ブロック画像を識別する前記識別情報を付与し、前記ブロック画像と前記識別情報を一括して請求項1の画面受信装置へ送付するブロック画像取得手段と、
    前記第二の画面に表示された、前記表示領域が包含する、前記ブロック画像の前記識別情報と、前記ブロック画像の前記第二の画面上の位置から算出した前記位置情報を対応付けて、前記画面受信装置へ送付する画像情報送付手段と、
    を備える画面送信装置。
  3. 前記ブロック画像取得手段が生成した、前記ブロック画像と、前記識別情報とを対応付けて格納するブロック画像送信情報格納手段を備え、
    前記画像情報送付手段は、前記第二の画面に表示されている画像と、前記ブロック画像送信情報格納手段に格納された前記ブロック画像を照合して、前記第二の画面に表示されている画像の一部と前記ブロック画像が一致した場合、当該ブロック画像に対応する前記識別情報を前記ブロック画像送信情報格納手段から抽出する
    請求項2の画面送信装置。
  4. 前記ソフトウェアが実行する画面操作コマンドを検出するソフトウェア操作検出手段をさらに備え、
    前記画像情報送付手段は、前記画面操作コマンド実行前の前記表示領域の前記全体画像における座標と、前記画面操作コマンドによる前記表示領域の移動量の情報から、前記画面操作コマンド実行後の前記表示領域に包含される前記ブロック画像の前記識別情報と前記位置情報を求める
    請求項2乃至3の何れかの画面送信装置。
  5. ソフトウェアによりスクロールされてその一部である表示領域が第一の画面に表示される全体画像を複数に分割したブロック画像と、各々の前記ブロック画像を識別する識別情報を、対応付けて第一の記憶域に格納し、
    前記ブロック画像の識別情報と、当該ブロック画像の前記第一の画面における表示位置を示す位置情報を受信して、前記識別情報に対応する前記ブロック画像を前記第一の記憶域から読み出して、前記第一の画面における前記位置情報が示す位置に表示する
    画面受信方法。
  6. 前記表示領域が表示された前記第一の画面と同じサイズの第二の画面上で、画面キャプチャーとスクロールを繰り返して前記全体画像のデータを取得し、前記ブロック画像のデータを生成して、当該ブロック画像を識別する前記識別情報を付与し、前記ブロック画像と前記識別情報を一括して請求項5の画面受信方法を実行する受信装置へ送付し、
    前記第二の画面に表示された、前記表示領域が包含する、前記ブロック画像の前記識別情報と、前記ブロック画像の前記第二の画面上の位置から算出した前記位置情報を対応付けて、前記受信装置へ送付する
    画面送信方法。
  7. 前記全体画像のデータから生成した前記ブロック画像と、前記識別情報とを対応付けて第二の記憶域に格納し、前記第二の画面に表示されている画像と、前記第二の記憶域に格納された前記ブロック画像を照合して、前記第二の画面に表示されている画像の一部と前記ブロック画像が一致した場合、当該ブロック画像に対応する前記識別情報を前記第二の記憶域から抽出する
    請求項6の画面送信方法。
  8. ソフトウェアによりスクロールされてその一部である表示領域が第一の画面に表示される全体画像を複数に分割したブロック画像と、各々の前記ブロック画像を識別する識別情報を、対応付けて第一の記憶域に格納するブロック画像情報格納処理と、
    前記ブロック画像の識別情報と、当該ブロック画像の前記第一の画面における表示位置を示す位置情報を受信して、前記識別情報に対応する前記ブロック画像を前記第一の記憶域から読み出して、前記第一の画面における前記位置情報が示す位置に表示する画面表示処理と、
    をコンピュータに実行させる画面受信プログラム。
  9. 前記表示領域が表示された前記第一の画面と同じサイズの第二の画面上で、画面キャプチャーとスクロールを繰り返して前記全体画像のデータを取得し、前記ブロック画像のデータを生成して、当該ブロック画像を識別する前記識別情報を付与し、前記ブロック画像と前記識別情報を一括して請求項8の画面送信プログラムをコンピュータに実行させる受信装置へ送付するブロック画像取得処理と、
    前記第二の画面に表示された、前記表示領域が包含する、前記ブロック画像の前記識別情報と、前記ブロック画像の前記第二の画面上の位置から算出した前記位置情報を対応付けて、前記受信装置へ送付する画像情報送付処理と、
    をコンピュータに実行させる画面送信プログラム。
  10. 前記ブロック画像取得処理が生成した、前記ブロック画像と、前記識別情報とを対応付けて第二の記憶域に格納するブロック画像送信情報格納処理をコンピュータに実行させ、
    前記画像情報送付処理は、前記第二の画面に表示されている画像と、前記第二の記憶域に格納された前記ブロック画像を照合して、前記第二の画面に表示されている画像の一部と前記ブロック画像が一致した場合、当該ブロック画像に対応する前記識別情報を前記第二の記憶域から抽出する
    請求項9の画面送信プログラム。
JP2012056975A 2012-03-14 2012-03-14 画面送信装置、画面共有装置、画面送信方法、及び、画面送信プログラム Expired - Fee Related JP5942498B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012056975A JP5942498B2 (ja) 2012-03-14 2012-03-14 画面送信装置、画面共有装置、画面送信方法、及び、画面送信プログラム
US13/795,178 US20130241803A1 (en) 2012-03-14 2013-03-12 Screen sharing apparatus, screen sharing method and screen sharing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012056975A JP5942498B2 (ja) 2012-03-14 2012-03-14 画面送信装置、画面共有装置、画面送信方法、及び、画面送信プログラム

Publications (2)

Publication Number Publication Date
JP2013191028A true JP2013191028A (ja) 2013-09-26
JP5942498B2 JP5942498B2 (ja) 2016-06-29

Family

ID=49157128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012056975A Expired - Fee Related JP5942498B2 (ja) 2012-03-14 2012-03-14 画面送信装置、画面共有装置、画面送信方法、及び、画面送信プログラム

Country Status (2)

Country Link
US (1) US20130241803A1 (ja)
JP (1) JP5942498B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015097069A (ja) * 2013-10-11 2015-05-21 株式会社野村総合研究所 情報処理システム、情報処理装置およびコンピュータプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015032916A (ja) * 2013-07-31 2015-02-16 ブラザー工業株式会社 通信装置のプログラム、及び通信装置
JP2015210569A (ja) * 2014-04-24 2015-11-24 株式会社リコー 画像処理装置、情報共有装置、画像処理方法、及びプログラム
CN105094638A (zh) * 2015-06-17 2015-11-25 深圳市美贝壳科技有限公司 移动终端与智能家居设备的图片屏幕共享方法及移动终端
CN112394892A (zh) * 2019-08-15 2021-02-23 北京字节跳动网络技术有限公司 投屏方法、投屏设备、移动终端、存储介质
CN113542825B (zh) * 2020-04-20 2022-10-11 华为技术有限公司 投屏显示方法、系统、终端设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007179554A (ja) * 1996-10-31 2007-07-12 Fujitsu Ltd ディスプレイ画面の複写システム及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5726669A (en) * 1988-06-20 1998-03-10 Fujitsu Limited Multi-window communication system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007179554A (ja) * 1996-10-31 2007-07-12 Fujitsu Ltd ディスプレイ画面の複写システム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016004094; 野田 敬寛 Takahiro Noda: 'GDA:複数の無線通信方式が利用可能で画面共有できるPDA GDA:Group Digital Assistant that can use' 情報処理学会研究報告 Vol.2002 No.97 IPSJ SIG Notes 第2002巻, 20021025, 第17頁-第22頁, 社団法人情報処理学会 Information Processing Socie *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015097069A (ja) * 2013-10-11 2015-05-21 株式会社野村総合研究所 情報処理システム、情報処理装置およびコンピュータプログラム

Also Published As

Publication number Publication date
US20130241803A1 (en) 2013-09-19
JP5942498B2 (ja) 2016-06-29

Similar Documents

Publication Publication Date Title
JP5942498B2 (ja) 画面送信装置、画面共有装置、画面送信方法、及び、画面送信プログラム
JP5282079B2 (ja) マルチディスプレイシステム、端末、方法及びプログラム
WO2013183957A1 (en) Augmented reality arrangement of nearby location information
US9377901B2 (en) Display method, a display control method and electric device
CN103324419B (zh) 确定显示区域及显示模式切换的方法、电子设备
KR20160061133A (ko) 이미지 표시 방법 및 그 전자 장치
CN113591439B (zh) 一种信息交互方法、装置、电子设备及存储介质
CN106293563B (zh) 一种控制方法和电子设备
JP2016095560A (ja) 電子機器、オーダーエントリーシステム、及びプログラム
CN110609654A (zh) 数据同步显示方法、装置、设备以及远程会议系统
CN105068750A (zh) 一种控制方法及电子设备
JP2013246583A (ja) 情報処理システム、サーバ装置、情報処理方法及びプログラム
JP2014219885A (ja) テスト支援方法、テスト支援システム
CN105409181B (zh) 用于显示对象的方法和设备
JP2014206894A (ja) 表示システム、表示方法、表示装置、プログラム及び記録媒体
US20170150537A1 (en) Mobile device output to external device
JP4854797B2 (ja) プログラムおよび電子機器
JP2015102742A (ja) 画像処理装置及び画像処理方法
CN102890606A (zh) 信息处理装置、信息处理方法及程序
US10055395B2 (en) Method for editing object with motion input and electronic device thereof
JP2010128567A (ja) カーソル移動制御方法及び装置、プログラム
JP2015203880A (ja) アプリケーション検査システム、アプリケーション検査装置及びアプリケーション検査プログラム
CN114356264A (zh) 一种信号生成方法、装置、设备及可读存储介质
CN113253874A (zh) 显示装置的控制方法、装置、终端和存储介质
CN104898997B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160509

R150 Certificate of patent or registration of utility model

Ref document number: 5942498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees