JP2022146641A - プログラム、方法、および、情報処理装置 - Google Patents

プログラム、方法、および、情報処理装置 Download PDF

Info

Publication number
JP2022146641A
JP2022146641A JP2021047709A JP2021047709A JP2022146641A JP 2022146641 A JP2022146641 A JP 2022146641A JP 2021047709 A JP2021047709 A JP 2021047709A JP 2021047709 A JP2021047709 A JP 2021047709A JP 2022146641 A JP2022146641 A JP 2022146641A
Authority
JP
Japan
Prior art keywords
image
information processing
processing device
terminal
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021047709A
Other languages
English (en)
Inventor
翔太郎 梶
Shotaro Kaji
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alphaomega Corp
Original Assignee
Alphaomega Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alphaomega Corp filed Critical Alphaomega Corp
Priority to JP2021047709A priority Critical patent/JP2022146641A/ja
Priority to US18/282,512 priority patent/US20240143265A1/en
Priority to PCT/JP2022/010510 priority patent/WO2022202353A1/ja
Priority to EP22775145.0A priority patent/EP4319143A1/en
Publication of JP2022146641A publication Critical patent/JP2022146641A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72445User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

【課題】自端末の画像と共有されている他端末の画像とをユーザの意思に応じて切り替え可能となる、プログラム、方法、および、情報処理装置を提供することである。【解決手段】所定画像のうち入力部への第1の操作(例えば、スクロール操作)に応じた第1の画像を特定し、第1の画像を他の情報処理装置において特定可能とするための処理を実行しない一方で、他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信し、表示部に表示する画像を、入力部に対する第2の操作に応じて、第1の画像と、受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替える。【選択図】図13

Description

特許法第30条第2項適用申請有り 株式会社アルファオメガが、令和3年3月11日に株式会社キリン堂内において、梶翔太朗が発明したプログラム、方法、および情報処理装置の発明に関連する内容を説明することにより公開した。 株式会社アルファオメガが、令和3年3月17日に株式会社エディオン内において、梶翔太朗が発明したプログラム、方法、および情報処理装置の発明に関連する内容を説明することにより公開した。
本発明は、プログラム、方法、および、情報処理装置に関する。
従来より、複数の端末装置間において一の端末装置の画面を他の端末装置に共有する技術が知られている。具体的に、一の端末装置(以下、端末装置Aという)において画面共有操作を行い、かつ他の端末装置(以下、端末装置Bという)において承諾操作を行うことにより、端末装置Aの画面を端末装置Bに表示して共有するものがあった(例えば、特許文献1の図3)。
特開2017-175638号公報
しかしながら、従来の技術では、端末装置Aの画面が共有されて当該端末装置Aの画面を表示している端末装置Bにおいて、例えば、共有前に端末装置Bにおいて表示していた自端末の画像を表示する場合に共有を解除するための操作などを要する虞があり、端末装置Bにおいて再び端末装置Aの画面を表示するためには再度の共有操作を要する虞があるため、操作が煩雑となる。
また、例えば、端末装置Bを所有するユーザは、ユーザの意思およびタイミングで、端末装置B自体の画像を表示させたり、端末装置Aの画像を表示させたりすることができない。このため、利便性を向上させることができない虞があった。
本発明は、かかる実情に鑑み考え出されたものであり、その目的は、自端末の画像と共有されている他端末の画像とをユーザの意思に応じて切り替え可能となる、プログラム、方法、および、情報処理装置を提供することである。
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置(例えば、ユーザ端末)において実行されるプログラム(例えば、WEBページに含まれるプログラム)であって、
前記情報処理装置に、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じた第1の画像を特定するステップ(例えば、図11(b)のステップS12’)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、図11(b)のステップS15’)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作(例えば、切替操作)に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24~S30)とを実行させ、
前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信し(例えば、図11(b)のステップS13’、ステップS15’、図11(a)のステップS14に相当する処理を実行しない)、
前記切り替えるステップは、前記表示部に前記第2の画像と異なる画像が表示されているときに、前記他の情報処理装置の入力部への操作の有無にかかわらず、前記情報処理装置の前記入力部に対して前記第2の操作が行われることにより、当該第2の操作が行われたタイミングで前記第2の画像へ切り替え可能である。
この構成によると、情報処理装置への第2の操作に応じて、当該情報処理装置における第1の画像と、他の情報処理装置における第2の画像とを含む複数種類の画像のうちのいずれかに切り替えることができる。その結果、情報処理装置を利用するユーザの意思に応じて、当該情報処理装置に表示する画像を切り替えることができるため、利便性を向上させることができる。
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置(例えば、ユーザ端末)において実行されるプログラム(例えば、WEBページに含まれるプログラム)であって、
前記情報処理装置に、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じた第1の画像を特定するステップ(例えば、図11(b)のステップS12’)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、図11(b)のステップS15’)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作(例えば、切替操作)に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24~S30)とを実行させ、
前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記情報処理装置の前記表示部に前記複数種類の画像のうちのいずれが表示されているかにかかわらず、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信する(例えば、図11(b)のステップS13’、ステップS15’、図11(a)のステップS14に相当する処理を実行しない)。
この構成によると、情報処理装置への第2の操作に応じて、当該情報処理装置における第1の画像と、他の情報処理装置における第2の画像とを含む複数種類の画像のうちのいずれかに切り替えることができる。その結果、情報処理装置を利用するユーザの意思に応じて、当該情報処理装置に表示する画像を切り替えることができるため、利便性を向上させることができる。
また、前記情報処理装置に、
前記所定画像のうち当該情報処理装置の入力部への操作に応じた画像と前記受信するステップにより受信した情報から特定される画像とを少なくとも含む複合画像を、当該情報処理装置の表示部に表示するステップと、
前記情報処理装置の制御パターンを複数種類の制御パターンのうちから設定するステップとを実行させ、
前記複数種類の制御パターンは、前記特定するステップと、前記受信するステップと、前記切り替えるステップとを実行させる第1制御パターンと、前記特定するステップと、前記受信するステップと、前記複合画像を表示するステップとを実行させる第2制御パターンとを含む。
この構成によると、制御パターンが複数種類の制御パターンのうちから設定されるため、利便性を向上させることができる。
また、前記制御パターンを設定するステップは、前記情報処理装置の表示部の表示サイズに応じて、所定サイズ未満であるときには前記第1制御パターンを設定し、前記所定サイズ以上であるときには前記第2制御パターンを設定する。
この構成によると、使用する情報処理装置の表示部の表示サイズに応じて制御パターンを自動でカスタマイズできる。
また、前記制御パターンを設定するステップは、前記複数種類の制御パターンのうち前記入力部への第3の操作に応じた制御パターンを設定する。
この構成によると、ユーザの意思に応じて制御パターンをカスタマイズできる。
また、前記第1状態においては、前記第1の画像を前記他の情報処理装置において特定可能とするための情報を出力しない。
この構成によると、出力しないことにより、第1の画像を他の情報処理装置において特定できないようにすることができ、無駄な処理が行われることを防止でき、処理負担を軽減できる。
また、前記情報処理装置は、音声を出力する音声出力部と、音声を入力する音声入力部とを備え、
前記情報処理装置に、
前記他の情報処理装置の音声入力部に対して入力された音声であって前記所定画像の内容についての説明を含む音声を特定可能とするための音声情報を受信して前記音声出力部から音声を出力する第1のステップと、
当該情報処理装置の前記音声入力部に対して入力した音声を前記他の情報処理装置において出力可能とするための音声情報を出力する第2のステップとを実行させる。
この構成によると、他の情報処理装置を利用する他のユーザからの音声を聞くことができ、かつ情報処理装置を利用するユーザからの音声を他のユーザに伝えることができるため、他の情報処理装置を所有するユーザと円滑なコミュニケーションを図ることができる。
また、前記第2のステップは、前記他の情報処理装置により前記音声情報の出力が許可されていないときには前記情報処理装置の前記音声入力部に対して入力した音声を前記他の情報処理装置において出力するための処理を実行せず、前記他の情報処理装置により前記音声情報の出力が許可されているときには前記情報処理装置の前記音声入力部に対して入力した音声を前記他の情報処理装置において出力するための処理を実行可能とする。
この構成によると、利便性を向上させることができる。
また、前記複数種類の画像は、前記所定画像とは異なる画像を含む。
この構成によると、利便性を向上させることができる。
前記受信するステップにより受信される情報は、前記所定画像のうちの入力部への第1の操作に応じた領域を特定するための領域情報である。
この構成によると、受信する情報のデータ量を低減できるとともに、画像を特定するための処理負担を低減できる。
また、前記入力部はタッチパネルであり、
前記第1の操作は、前記タッチパネルに対する操作を含み、
前記受信するステップにより受信される情報は、前記タッチパネルに対する操作の態様を特定可能とするための操作態様情報である。
この構成によると、受信する情報のデータ量を低減できるとともに、画像を特定するための処理負担を低減できる。
また、前記受信するステップにより受信される情報は、前記所定画像のうちの入力部への第1の操作に応じた領域の画像を表示可能とするための画像情報である。
この構成によると、画像を特定するための処理負担を低減できる。
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置において実行される方法であって、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じた第1の画像を特定するステップ(例えば、図11(b)のステップS12’)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、図11(b)のステップS15’)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作(例えば、切替操作)に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24~S30)とを備え、
前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信し(例えば、図11(b)のステップS13’、ステップS15’、図11(a)のステップS14に相当する処理を実行しない)、
前記切り替えるステップは、前記表示部に前記第2の画像と異なる画像が表示されているときに、前記他の情報処理装置の入力部への操作の有無にかかわらず、前記情報処理装置の前記入力部に対して前記第2の操作が行われることにより、当該第2の操作が行われたタイミングで前記第2の画像へ切り替え可能である。
この構成によると、情報処理装置への第2の操作に応じて、当該情報処理装置における第1の画像と、他の情報処理装置における第2の画像とを含む複数種類の画像のうちのいずれかに切り替えることができる。その結果、情報処理装置を利用するユーザの意思に応じて、当該情報処理装置に表示する画像を切り替えることができるため、利便性を向上させることができる。
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置において実行される方法であって、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じた第1の画像を特定するステップ(例えば、図11(b)のステップS12’)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、図11(b)のステップS15’)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24~S30)とを備え、
前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記情報処理装置の前記表示部に前記複数種類の画像のうちのいずれが表示されているかにかかわらず、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信する(例えば、図11(b)のステップS13’、ステップS15’、図11(a)のステップS14に相当する処理を実行しない)。
この構成によると、情報処理装置への第2の操作に応じて、当該情報処理装置における第1の画像と、他の情報処理装置における第2の画像とを含む複数種類の画像のうちのいずれかに切り替えることができる。その結果、情報処理装置を利用するユーザの意思に応じて、当該情報処理装置に表示する画像を切り替えることができるため、利便性を向上させることができる。
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置であって、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じた第1の画像を特定するステップ(例えば、図11(b)のステップS12’)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、図11(b)のステップS15’)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作(例えば、切替操作)に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24~S30)とを備え、
前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信し(例えば、図11(b)のステップS13’、ステップS15’、図11(a)のステップS14に相当する処理を実行しない)、
前記切り替えるステップは、前記表示部に前記第2の画像と異なる画像が表示されているときに、前記他の情報処理装置の入力部への操作の有無にかかわらず、前記情報処理装置の前記入力部に対して前記第2の操作が行われることにより、当該第2の操作が行われたタイミングで前記第2の画像へ切り替え可能である。
この構成によると、情報処理装置への第2の操作に応じて、当該情報処理装置における第1の画像と、他の情報処理装置における第2の画像とを含む複数種類の画像のうちのいずれかに切り替えることができる。その結果、情報処理装置を利用するユーザの意思に応じて、当該情報処理装置に表示する画像を切り替えることができるため、利便性を向上させることができる。
本開示に示す一実施形態のある局面によれば、プロセッサ、メモリ、入力部、および表示部を備える情報処理装置であって、
所定画像のうち前記入力部への第1の操作(例えば、スクロール操作)に応じた第1の画像を特定するステップ(例えば、図11(b)のステップS12’)と、
他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップ(例えば、図11(b)のステップS15’)と、
前記表示部に表示する画像を、前記入力部に対する第2の操作(例えば、切替操作)に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップ(例えば、ステップS24~S30)とを備え、
前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記情報処理装置の前記表示部に前記複数種類の画像のうちのいずれが表示されているかにかかわらず、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信する(例えば、図11(b)のステップS13’、ステップS15’、図11(a)のステップS14に相当する処理を実行しない)。
この構成によると、情報処理装置への第2の操作に応じて、当該情報処理装置における第1の画像と、他の情報処理装置における第2の画像とを含む複数種類の画像のうちのいずれかに切り替えることができる。その結果、情報処理装置を利用するユーザの意思に応じて、当該情報処理装置に表示する画像を切り替えることができるため、利便性を向上させることができる。
通信システムのハードウェア構成例を示す図である。 ユーザ端末のハードウェア構成例を示す図である。 複数のユーザ端末間においてWebRTC(例えばP2P通信を含む)を開始するまでのフローを説明するための図である。 ユーザ端末Xにおけるタッチスクリーンの表示画面例を示している。 P2P通信中におけるユーザ端末Xにおけるタッチスクリーンの表示画面例と、相手端末であるユーザ端末Yにおける自端末モード中のタッチスクリーンの表示画面例とを示している。 P2P通信中におけるユーザ端末Xにおけるタッチスクリーンの表示画面例と、相手端末であるユーザ端末Yにおける自端末モード中のタッチスクリーンの表示画面例とを示している。 描画処理を説明するためのフローチャートである。 画像特定処理を説明するためのフローチャートである。 表示処理を説明するためのフローチャートである。 第2実施形態における描画処理を説明するためのフローチャートである。 第2実施形態における画像特定処理を説明するためのフローチャートである。 第2実施形態における表示処理を説明するためのフローチャートである。 第2実施形態のP2P通信中におけるユーザ端末Xにおける自端末モード中のタッチスクリーンの表示画面例と、相手端末であるユーザ端末Yにおけるタッチスクリーンの表示画面例とを示している。
本開示に係る通信システムは、複数のユーザ各々が所有する情報処理装置間において画面を共有し合いかつ簡便な操作で切り替え可能とするシステムである。以下、図面を参照しつつ通信システムに関する実施の形態について説明する。なお、本発明は以下の例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。
[第1実施形態]
<通信システムのハードウェア構成>
図1は、通信システム1のハードウェア構成例を示す図である。通信システム1は、複数のユーザ端末100と、WEBサーバ200と、シグナリングサーバ300とを含む。複数のユーザ端末100、WEBサーバ200、および、シグナリングサーバ300は、各々、ネットワーク2を介して通信接続可能であり、双方向に情報(データ)を送受信できる。ネットワーク2は、インターネットおよび図示しない無線基地局によって構築される各種移動通信システム等で構成される。この移動通信システムとしては、例えば、所謂4G、5G移動通信システム、LTE(Long Term Evolution)、および所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク(例えばWi-Fi(登録商標))等が挙げられる。
ユーザ端末100(コンピュータ、情報処理装置)は、例えば、スマートフォン、フィーチャーフォン、PDA(Personal Digital Assistant)、またはタブレット型コンピュータ等の携帯端末であってよく、据え置き型のパーソナルコンピュータ等の汎用コンピュータであってもよい。また、ユーザ端末100は、WEBページを閲覧するためのWEBブラウザを実装(インストール)している。
図2は、ユーザ端末100のハードウェア構成例を示す図である。ユーザ端末100は、図示の通り、制御処理部を構成するプロセッサ101、記憶部を構成するRAM102、ROM103、EEPROM104、撮像素子(例えば、CMOS(Complementary Metal-Oxide Semiconductor)センサなど)で撮影した画像をデジタル信号に変換するカメラ105、音波によって生ずる振動板などの機械的な振動を電気信号に変換するマイクロフォン106、音声を出力するスピーカ107、画像を表示する表示部を備え当該表示部に対するタッチ操作を検出するタッチスクリーン108、所定のボタン(操作部)に対するユーザからの押圧操作等を検出する操作検出部109、通信IF110、および、入出力IF111を備える。ユーザ端末100が備えるこれらの構成は、通信バスによって互いに電気的に接続される。通信IF110は、NIC(Network Interface Controller)及び無線LAN(Local Area Network)チップなどを含む。なお、ユーザ端末100は、タッチスクリーン108に代えて、または、加えて、ユーザ端末100本体とは別に構成されたディスプレイ(表示部)を接続可能な入出力IFを備えていてもよい。
プロセッサ101は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、およびGPU(Graphics Processing Unit)などを含む。プロセッサ101は、例えば、EPROM104に記憶されたプログラムをRAM102上に読み込み、プログラムの指示に従ってタッチスクリーン108や操作検出部109、通信IF110などからデータを受け取り、取得したデータをプログラムに規定される手順で演算・加工した上で、演算済み・加工済みのデータをEEPROM104やタッチスクリーン108、通信IF110などに出力する。
図1に戻り、WEBサーバ200およびシグナリングサーバ300(コンピュータ、情報処理装置)は、各々、ワークステーションまたはパーソナルコンピュータ等の汎用コンピュータであってよい。WEBサーバ200およびシグナリングサーバ300は、少なくともプロセッサと、メモリと、ストレージと、通信IFと、入出力IFとを備え、通信バスによって互いに電気的に接続される。
WEBサーバ200は、所定のWEBページを提供するサーバである。WEBページは、1階層のページであってもよく、ページ内の所定のリンクをクリック操作することによりリンク先のページに遷移するような複数階層のページであってもよい。WEBサーバ200が提供するWEBページには、例えば、WebRTC(Web Real-time Communications)サービスを提供するためのプログラム(例えば、スクリプト、JavaScript(登録商標)等)を含むWEBページが設けられている。ユーザは、ユーザ端末100に実装されているWEBブラウザを利用してWEBサーバ200にアクセスすることにより、WEBページに含まれるプログラムに基づいてWebRTC技術を利用したビデオ通話・画面共有等の通信サービスを受けることができる。
シグナリングサーバ300は、複数のユーザ端末100各々に実装されているWEBブラウザ間にRTC Peer Connectionを確立するための情報の交換を仲介するサーバである。ユーザ端末100は、WEBブラウザを利用してWEBサーバ200にアクセスすることにより、WEBページを構成するhtmlファイルを受信してWEBページを表示可能となるとともに、WebRTC技術を利用して映像通信・画面共有等を行うためのプログラムファイルをダウンロードして、他のユーザ端末100とリアルタイムでビデオ通話・画面共有等を行うことが可能となる。
本実施形態におけるユーザ端末100は、ダウンロードしたプログラムに基づいて、例えば、シグナリングサーバ300を介してRTC Peer Connectionが確立されてPeer to Peer(P2P)通信が可能となった複数のユーザ端末100間において、リアルタイムで例えばカメラ105で撮像した画像やマイクロフォン106に入力された音声を送受信するビデオ通話が実行可能になる。さらに、本実施形態におけるユーザ端末100は、ダウンロードしたプログラムによって、例えば、ユーザ端末100で実際に閲覧しているWEBページ画像を他のユーザ端末100において表示可能とするための情報を送受信可能となり、かつ、ユーザ端末100を所有するユーザからの切替操作(例えば、左右方向へのスワイプ操作等)に応じて当該タッチスクリーンに表示する画像を複数種類の画像(例えば、自端末の画像、相手端末の画像、ビデオ通話の画像等)のいずれかに切り替えて表示する画面共有が実行可能となる。以下においては、P2P通信を成立させてから、ビデオ通話および画面共有するまでの流れを説明する。
図3は、複数のユーザ端末間においてWebRTC(例えばP2P通信を含む)を開始するまでのフローを説明するための図である。図3では、複数のユーザ端末のうちのユーザXが所有するユーザ端末Xと、ユーザYが所有するユーザ端末Yとの間においてP2P通信が成立するまでのフローを示している。図3の横軸においては、ユーザ端末X、ユーザ端末Y、WEBサーバ200、シグナリングサーバ300などの各構成を示し、縦軸においては、時間の経過に応じて各構成における処理内容を示している。なお、図3は、複数のユーザ端末間においてWebRTC(例えばP2P通信を含む)を開始するまでのフローの一例に過ぎず、複数のユーザ端末間において通信可能な状態となるものであれば以下に説明するものに限るものではない。また、図4は、ユーザ端末Xにおけるタッチスクリーン108の表示画面例を示している。
まず、t1では、ユーザ端末XにおいてWebブラウザを立ち上げてWEBサーバ200へWEBページ要求が送信される。WEBページ要求には、ユーザ端末Xが他のユーザ端末とP2P通信を可能にするための通信可能情報(例えば、メディアの種類(音声、映像)やコーデック形式、IPアドレスやポート番号、データ転送で利用するプロトコル(TCP、UDP等)、暗号化の鍵などの情報(RTC Peer Connectionを確立するための情報)などを特定可能な情報)が含まれる。WEBサーバ200は、WEBページ要求を受信すると、通信可能情報をシグナリングサーバ300へ送信する。
また、t2では、WEBサーバ200からユーザ端末Xに対して、WEBページ応答が送信される。WEBページ応答には、所定画像を表示するための情報(htmlファイル、画像データ等)が含まれる。これにより、WEBサーバ200から提供されるWEBページがユーザ端末Xのタッチスクリーン108に表示される。また、WEBページ応答には、プログラムファイル(スクリプト、JavaScript(登録商標)等)が含まれる。これにより、WEBサーバ200にアクセスしたユーザ端末100は、WEBページに含まれるプログラムを実行することにより、P2P通信を成立させてビデオ通話や画面共有が可能となる。なお、WEBページ応答に含まれRAM102に保存されるプログラムファイルは、WEBサーバ200へのアクセスを終了したときに破棄されるが、これに限らず、ユーザの設定等に応じて破棄せずに次回アクセス時において利用可能となるように維持されるものであってもよい。
図4(a)には、WEBサーバ200にアクセスしてWEBページがタッチスクリーン108に表示されたときの画面例を示している。タッチスクリーン108の画面上方領域108aには、現在時刻(例として「18:21」)と、アクセス先のアドレス(例として「abc.com」)と、アクセスしたユーザ名(ここではユーザXであるため「X」)と、後述するルームを作成するためのアイコン401とが表示されている。
タッチスクリーン108の画面中央領域108bには、WEBページ(所定画像)のうちの一部画像(閲覧開始時の画面)が表示される。本実施形態では、ショッピングサイトのページを例示しているが、WEBページの種類はこれに限るものではない。ユーザ端末Xは、WEBサーバ200から提供されるWEBページのうち、画面中央領域108bに対する例えば上下方向のスワイプ操作やスクロールバーに対する操作などのスクロール操作(第1の操作)に応じて任意の箇所を画面中央領域108bに表示することができる。これにより、ユーザは、画面中央領域108bに対するスクロール操作により、WEBページのうちの閲覧したい箇所を閲覧することができる。
また、画面中央領域108a内の上方においては、相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404がWEBページに重畳させて表示される。相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404は、各々、画面中央領域108bの表示モードを報知するための画像である。表示モードとしては、自端末の画像を表示するための自端末モード、相手端末の画像を表示するための相手端末モード、および、ビデオ通話の画像を表示するためのビデオ通話モードとを含む複数種類の表示モードが設けられている。本実施形態におけるユーザ端末100は、WEBページに含まれるプログラムに基づいて、例えば左右方向へのスワイプ操作や後述するアイコンへの操作などの切替操作(第2の操作)に応じて、いずれかの表示モードに切り替えて、当該表示モードに対応する画像を表示できる。WEBページの表示を開始した際には、表示モードが自端末モードに設定される。このため、画面中央領域108aにおいては、自端末の画面(WEBページの一部画像)が表示されるとともに、自端末報知画像404が反転表示されることにより、自端末の画面が表示されていることが報知される。
タッチスクリーン108の画面下方領域108cには、自分の映像を相手端末に表示可能となるビデオ通話と、自分の映像を相手端末に表示せずにデフォルト画面を表示する音声通話とを切り替える通話切替アイコン405aと、P2P通信を終了するための終了アイコン405bと、チャットを行うための入力欄406と、WEBブラウザの各種アイコン407~411とが表示される。相手端末とP2P通信が成立しているときには、通話切替アイコン405をタッチ操作することにより、ビデオ通話から音声通話へ、あるいは音声通話からビデオ通話へ切り替えることができ、終了アイコン405bをタッチ操作することよりP2P通信(ビデオ通話)を終了して自端末の画像を表示することができ、入力欄406をタッチ操作することにより、文字・スタンプ等の入力が可能となり、入力された文字等を相手端末に送信可能となる。
なお、各種アイコン407~411は、WEBブラウザの機能によって表示されるアイコンである。このうち、アイコン409は、ビデオ通話・画面共有等を開始するための共有用リンクを相手端末に共有する際に操作される共有用アイコンである。共有用リンクは、例えば、ユーザが作成したルーム固有のアドレスを特定するための文字列情報を含む。共有用リンクをクリックすることにより、WEBサーバ200にアクセスするとともに作成されたルームに入室可能となる。以上のように、WEBサーバ200にアクセスしてWEBページを表示する際には、当該WEBページに含まれるプログラムに基づいて、WEBページ以外に複数のアイコンや画像などが表示される。
図3に戻り、t1において通信可能情報を受信したシグナリングサーバ300においては、ユーザ端末Xに対しSDP(Session Description Protocol)を発行するための処理が行われ、t3では、発行されたSDPがユーザ端末Xに送信されてRAM102の所定領域に格納される。SDPには、例えば、メディアの種類(音声、映像)やコーデック形式、IPアドレスやポート番号、データ転送で利用するプロトコル(TCP、UDP等)、暗号化の鍵などの情報(RTC Peer Connectionを確立するための情報)が含まれる。
また、ユーザ端末Xは、WEBサーバ200から提供されるWEBページを表示している際に、t4に示すように、共有開始条件を成立させて共有用リンクを他のユーザに送信することにより、当該他のユーザが所有するユーザ端末との間においてP2P通信を成立させることが可能となる。
図4(b)~(d)は、共有開始条件を成立させて共有用リンクを他のユーザ(図4ではユーザY)に送信するまでの画面例を示している。まず、図4(a)で示したアイコン401をタッチ操作して、図4(b)に示す「ルームを作成」といったルーム作成アイコン420を含む画面を表示させる。
次に、ルーム作成アイコン420をタッチ操作して、P2P通信接続に用いる固有のルームを作成するとともに、当該ルーム固有のアドレス(例えば、暗号化の鍵や暗号化されたテキスト等を所定のURLの語尾に付与されたルーム固有のURL)を発行し、当該アドレスを特定するための情報を含む共有用リンクを生成する。また、ルーム作成アイコン420をタッチ操作することにより、P2P通信開始に備えて、表示モードがビデオ通話モードに切り替えられる。その結果、画面中央領域108bの画像は、自端末の画像からビデオ通話の画像に切り替えられる。これに伴って、図4(c)の画面では、画面中央領域108bがWEBページを表示していた自端末画面から「AUDIO」といった文字列を含む画面に切り替えられる。図4(c)の段階では、未だP2P通信が成立しておらずビデオ通話が開始していないため、ビデオ通話画面として「AUDIO」といった文字列を含む画面が表示される。また、ビデオ通話モードに切り替えられた際には、ビデオ通話報知画像403が反転表示された状態となる。
P2P通信は、共有用リンクを相手端末に通知してクリックさせることにより成立する。図4(c)では、WEBブラウザの共有機能を利用して共有用リンクを相手端末に通知する例について説明する。図4(c)に示すように、WEBブラウザの共有用アイコン409をタッチ操作して、WEBブラウザの機能により図4(d)に示す画面を表示させる。図4(d)に示す画面では、画面下半分にウインドウ430が重畳表示される。ウインドウ430内には、作成したルーム固有のアドレスを特定するための情報を含む共有用リンクを他の特定ユーザに送信するために利用できるアプリに対応するアプリアイコン431~434が表示される。ユーザXは、いずれかのアプリアイコンをタッチ操作することにより、当該アプリを起動させて他のユーザ(ここではユーザY)の宛先等を選択して共有用リンクを送信する。当該アプリにより共有用リンクの送信を完了させると、タッチスクリーン108には、再び図4(c)に示す画面が表示され、ユーザYからの接続待ち状態となる。なお、接続待ち状態においては、一旦、図4(c)に示す画面が表示されるが、この間においても切替操作を行うことにより自端末モードに切り替えて自端末の画像を表示してWEBページを閲覧可能となり、ユーザYの接続が完了したときに自動的にビデオ通話モードに切り替えられるものであってもよい。
以上のように、ユーザXは、アイコン401操作→ルーム作成(図4(b)参照)→共有アイコン409操作(図4(c)参照)→アプリアイコン操作により共有開始条件を成立させて、アプリを用いて共有用リンクを他のユーザに送信することができる。なお、共有用リンクの通知方法は、図4(c)および図4(d)で示したものに限るものではなく、メール等で通知するものなどであってもよい。ユーザXが所有するユーザ端末Xは、ルームを作成した時点で、当該ルーム固有のURLにアクセスした状態となる。
共有用リンクを受信したユーザ端末Yにおいては、当該共有用リンクがタッチ操作(クリック)されることにより、WEBサーバ200にアクセスし、ユーザXが作成したルームに入室(ルーム固有のURLにアクセス)してユーザ端末XとのP2P通信を成立させるための処理を開始する。共有リンクがタッチ操作されると、図3のt5に示されるように、ユーザ端末YにおいてWebブラウザを立ち上げてWEBサーバ200へWEBページ要求が送信される。WEBページ要求には、ユーザ端末Yが共有用アドレス送信元のユーザ端末XとP2P通信を可能にするための通信可能情報が含まれる。WEBサーバ200は、WEBページ要求を受信すると、通信可能情報をシグナリングサーバ300へ送信する。
また、t6では、WEBサーバ200からユーザ端末Yに対して、WEBページ応答が送信される。当該WEBページ応答にも、前述した所定画像を表示するための情報や、プログラムファイル(スクリプト、JavaScript(登録商標)等)が含まれる。これにより、WEBサーバ200から提供されるWEBページがユーザ端末Yのタッチスクリーン108に表示される(図4(a)と同様)とともに、P2P通信を成立させてビデオ通話や画面共有が実行可能となる。
一方、t5において通信可能情報を受信したシグナリングサーバ300においては、ユーザ端末Yに対しSDPを発行するための処理が行われ、t7では、発行されたSDPがユーザ端末Yに送信されてRAM102の所定領域に格納される。t7に引き続いてt8では、シグナリングサーバ300を介して、受信したSDPが共有用リンク送信元のユーザ端末Xに送信され、t9に示されるように、ユーザ端末Xにおいて、ユーザ端末YからのSDPが登録される。
ユーザ端末Xは、t9に続くt10において、t3ですでに格納しているユーザ端末XのSDPを、シグナリングサーバ300を介してユーザ端末Yに送信し、t11に示されるように、ユーザ端末Yにおいて、ユーザ端末XからのSDPが登録される。これにより、ユーザ端末Xとユーザ端末Yとの間で接続確認が実行され、P2Pで通信できるIPアドレスおよびポート番号のペアが決定されRTC Peer Connectionが確立される。その結果、ユーザ端末Xとユーザ端末Yとの間においてP2P通信が成立して、ビデオ通話が開始されるとともに画面共有が可能となる。
図4(e)は、P2P通信が成立して相手方であるユーザYとのビデオ通話が開始されている画面を示している。P2P通信が開始されると、自端末においては、カメラ105で撮像される画像のデータとマイクロフォン106で収集された音声のデータとを相手端末に送信するとともに、相手端末からも同様に送信されてくる画像および音声のデータを受信し、画面中央領域108bに相手端末からの画像を表示するとともにスピーカ107から音声を出力することが可能となる。画像および音声のデータの送受信は、予め定められた時間(例えば、50msec)毎に行われる。これにより、ビデオ通話画面が表示可能となる。図4(e)では、ユーザ端末XにおいてユーザYを含む画像(動画像)が表示されている様子が示されている。
また、P2P通信が開始されると、自端末においては、WEBページのうち当該自端末において自端末モード中におけるスクロール操作に応じて表示され得る画像(領域)を特定可能とするための特定用情報を相手端末に送信するとともに、相手端末からも同様に送信されてくる特定用情報を受信する。
自端末において送信する特定用情報は、例えば、WEBサーバ200にアクセスしたときに受信したWEBページの特定位置(例えば当該WEBページの左上隅の位置、x軸およびy軸において座標0となる位置等)を基点とした場合の、自端末モード中におけるスクロール操作に応じて画面中央領域108bに表示される画像の所定位置(例えば左上隅の位置等)の座標位置を特定する情報である。また、自端末において受信する特定用情報は、例えば、相手端末においてWEBサーバ200にアクセスしたときに受信したWEBページの特定位置(例えば左上隅の位置、x軸およびy軸において座標0となる位置等)を基点とした場合の、当該相手端末における自端末モード中のスクロール操作に応じて当該相手端末の画面中央領域108bに表示される画像の所定位置(例えば左上隅の位置等)の座標位置を特定する情報である。特定用情報の送受信は、所定時間(例えば、100msec)毎に行われる。これにより、WEBページのうち自端末において閲覧している画像のみならず、相手端末において閲覧している画像をリアルタイムに特定可能となる。
ユーザ端末100は、WEBページに含まれるプログラムに基づいて、切替操作に応じた表示モードに切り替えて設定し、当該表示モードに対応する画像を当該ユーザ端末100の画面中央領域108bに表示可能となる。なお、P2P通信中のユーザ端末100は、設定されている表示モードにかかわらず、少なくとも画像・音声のデータと特定用情報とを相手端末に送信し、相手端末からの画像・音声のデータと特定用情報とを受信する。
図5および図6は、P2P通信中におけるユーザ端末Xにおけるタッチスクリーン108の表示画面例と、相手端末であるユーザ端末Yにおける自端末モード中のタッチスクリーン108の表示画面例とを示している。
図5(a)には、ユーザ端末Xの表示画面例が示されており、図5(a1)が相手端末モード時の表示画面例であり、図5(a2)がビデオ通話モード時の表示画面例であり、図5(a3)が自端末モード時の表示画面例である。設定されている表示モードが例えばビデオ通話モード時であるときには、図5(a2)に示すように、ユーザ端末Yから送信されてくる画像・音声のデータに基づいて、相手であるユーザYを撮像した画像(動画像)を画面中央領域108bに表示するとともにスピーカ107から音声を出力する。これにより、ビデオ通話画面が表示される。
ビデオ通話モード時の表示画面が表示されているときにおいて、例えば、右から左へスワイプさせる切替操作を受け付けたときには、図5(a3)に示すように、表示モードが自端末モードに切り替えられて、自端末モード時の表示画面が表示されるとともに、自端末報知画像404が反転表示された状態に切り替えられる。図5(a3)では、WEBページのうちの閲覧開始時の画面が表示されている例を示している。
自端末モード時には、WEBページのうちの自端末であるユーザ端末Xに対するスクロール操作に応じた任意の箇所を表示可能である。また、ユーザ端末100は、前述したように、いずれの表示モードが設定されているかにかかわらず、P2P通信中においては所定時間毎に、WEBページのうち自端末モード時のスクロール操作に応じた箇所(WEBページ内の画像)を特定可能な特定用情報を相手端末であるユーザ端末Yに送信する。これにより、ユーザ端末Xにおける自端末モード時のスクロール操作に応じてユーザXが閲覧している箇所の画像をユーザ端末Y側で特定可能となる。なお、自端末モード時においてもユーザ端末Yから送信されてくる音声のデータに基づいて、ユーザYからの音声をスピーカ107から出力する。
また、自端末モード時の表示画面が表示されているときにおいて、例えば、左から右へスワイプさせる切替操作を受け付けたときには、図5(a2)に示すように、表示モードがビデオ通話モードに切り替えられて、ビデオ通話モード時の表示画面が表示されるとともに、ビデオ通話報知画像403が反転表示された状態に切り替えられる。これにより、相手端末からの画像を画面中央領域108bに表示するとともにスピーカ107から音声を出力する。
ビデオ通話モード時の表示画面が表示されているときにおいて、例えば、左から右へスワイプさせる切替操作を受け付けたときには、図5(a1)に示すように、表示モードが相手端末モードに切り替えられて、相手端末モード時の表示画面が表示されるとともに、相手端末報知画像402が反転表示された状態に切り替えられる。前述したように、相手端末であるユーザ端末Yは、ユーザ端末Xと同様に、いずれの表示モードが設定されているかにかかわらず、P2P通信中においては所定時間毎に、WEBページのうち当該ユーザ端末Yにおける自端末モード時のスクロール操作に応じた箇所(WEBページ内の画像)を特定可能な特定用情報を相手端末であるユーザ端末Xに送信する。このため、ユーザ端末Yにおける自端末モード時のスクロール操作に応じてWEBページのうちユーザYが閲覧している箇所の画像をユーザ端末X側で特定可能となる。
図5(a’)に示すように、ユーザ端末Yでは、WEBページのうちの閲覧開始時の画面が表示されている例が示されており、当該画面を特定可能な特定用情報をユーザ端末Xに送信する。このため、ユーザ端末Xの表示モードとして相手端末モードが設定されているときには、図5(a1)に示すように、ユーザ端末Yから送信される特定用情報に基づいて、WEBページのうちの閲覧開始時の画面がユーザ端末Xの画面中央領域108bに表示される。これにより、ユーザ端末Yにおける自端末モード時の操作に応じてWEBページのうちユーザYが閲覧している箇所の画像をユーザ端末X側で特定可能となる。なお、相手端末モード時においてもユーザ端末Yから送信されてくる音声のデータに基づいて、ユーザYからの音声をスピーカ107から出力する。
また、相手端末モード時の表示画面が表示されているときにおいて、例えば、右から左へのスワイプ操作を受け付けたときには、表示モードがビデオ通話モードに切り替えられて、ビデオ通話モード時の表示画面が表示されるとともに、ビデオ通話報知画像403が反転表示された状態に切り替えられる。これにより、相手端末からの画像を画面中央領域108bに表示するとともにスピーカ107から音声を出力する。以上のように、ユーザ端末100の画面中央領域108bに表示する画像を、当該ユーザ端末100への切替操作により、自端末の画像、相手端末の画像、および、ビデオ通話の画像のいずれかに切り替えることができる。
なお、自端末モード時の表示画面において、例えばさらに右から左へスワイプさせる操作が行われたとしても、相手端末モードなどの他の表示モードに切り替えられることはない。また、相手端末モード時の表示画面において、例えばさらに左から右へスワイプさせる操作が行われたとしても、自端末モードなどの他の表示モードに切り替えられることはない。つまり、自端末モード時の表示画面から相手端末モード時の表示画面への切り替えと、相手端末モード時の表示画面から自端末モード時の表示画面への切り替えとが規制されている。
図5(b)および図5(b’)は、ユーザYが閲覧している箇所が変化した場合の表示画面例を示している。図5(b’)は、ユーザ端末Yの自端末モード時において、ユーザYがスクロール操作して、WEBページのうちの例えば「今日のイチ押し」の商品画像等を含む箇所をユーザ端末Yの画面中央領域108bに表示している表示画面例を示している。前述したように、ユーザ端末Yは、設定されている表示モードにかかわらず、自端末モード時において当該ユーザ端末Yの画面中央領域108bに表示され得る画像を特定するための特定用情報を所定時間毎に送信しており、当該特定用情報をユーザ端末Xは受信する。このため、ユーザXは、ユーザ端末Xの表示モードを相手端末モードに切り替えることにより、図5(b1)に示すようにユーザ端末Xの画面中央領域108bにWEBページのうちの「今日のイチ押し」の商品画像等を含む箇所が表示されて、ユーザYが閲覧している箇所をリアルタイムに把握することができる。
図6は、ユーザXが閲覧している箇所およびユーザYが閲覧している箇所各々が変化した場合の表示画面例を示している。図6(c’)は、ユーザ端末Yの自端末モード時において、ユーザYがスクロール操作して、WEBページのうちの例えば「あなたにおすすめのクーポン」のクーポン画像等を含む箇所をユーザ端末Yの画面中央領域108bに表示している表示画面例を示している。この場合、ユーザXは、ユーザ端末Xの表示モードを相手端末モードに切り替えることにより、図6(c1)に示すようにユーザ端末Xの画面中央領域108bにWEBページのうちの「あなたにおすすめのクーポン」のクーポン画像等を含む箇所が表示されて、ユーザYが閲覧している箇所をリアルタイムに把握することができる。
同様に、図6(c3)においては、ユーザ端末Xの自端末モード時においてユーザXがスクロール操作して、WEBページのうちの例えば「新商品!」の商品画像等を含む箇所をユーザ端末Xの画面中央領域108bに表示している表示画面例を示している。前述したように、ユーザ端末Xは、画面中央領域108bに表示している画像を特定するための特定用情報を所定時間毎に送信しており、当該特定用情報をユーザ端末Yは受信する。このため、図示していないが、ユーザYは、ユーザ端末Yの表示モードを相手端末モードに切り替えることにより、ユーザ端末Yの画面中央領域108bにWEBページのうちの「新商品!」の商品画像等を含む箇所が表示されて、ユーザXが閲覧している箇所をリアルタイムに把握することができる。
図6(d)および図6(d’)についても同様に、ユーザXは、ユーザ端末Xの表示モードを相手端末モードに切り替えることにより、図6(d1)に示すように、ユーザ端末Xの画面中央領域108bにWEBページのうちの「最近チェックした商品」の商品画像等を含む箇所が表示されて、ユーザYが閲覧している箇所をリアルタイムで把握することができる。また、図示していないが、ユーザYは、ユーザ端末Yの表示モードを相手端末モードに切り替えることにより、ユーザ端末Yの画面中央領域108bにWEBページのうちの「あなたにおすすめのクーポン」のクーポン画像等を含む箇所(図6(d3)と同じ箇所)が表示されて、ユーザXが閲覧している箇所をリアルタイムに把握することができる。
ユーザ端末100は、前述したWEBページに含まれるプログラムに基づいて各種処理を行うことにより、図4~図6で例示したように表示画面を制御している。以下では、WEBページに含まれるプログラムに基づいて実行される処理の一例として、タッチスクリーン108に表示するための画像をRAM102に描画するための描画処理と、複数のユーザ端末100各々においてWEBページのうち自端末モード時において画面中央領域108bに表示し得る画像(箇所)を特定するための画像特定処理と、切替操作に応じた表示モードに切り替えて表示モードに対応する画像を画面中央領域108bに表示するための表示処理とについて説明する。
図7は、描画処理を説明するためのフローチャートである。ユーザ端末100は、WEBサーバ200にアクセスしてWEBページを受信してから当該WEBページの閲覧を終了するまでの間、WEBページに含まれるプログラムに基づいて、描画処理を予め定められた時間(例えば、50msec)毎に繰り返し実行する。
ステップS01においては、WEBサーバ200にアクセスし、WEBページ応答に応じて閲覧を開始するときであるか否かが判定される。閲覧を開始するときであると判定されたときには、ステップS02において、ユーザ端末100のRAM102の予め定められた第1領域に、所定画像であるWEBページ全体が描画される。自端末モード時には、当該第1領域に描画されたWEBページのうちスクロール操作に応じた領域の画像が画面中央領域108bに表示可能となる。一方、閲覧を開始するときであると判定されなかったときには、すでに閲覧中でありWEBページ全体が描画されているため、ステップS03へ移行する。
ステップS03においては、P2P通信が成立して当該P2P通信を開始するときであるか否かが判定される。P2P通信を開始するときであると判定されたときには、ステップS04においてRAM102の予め定められた第2領域に、相手端末から受信した画像データに基づいてビデオ通話画像が描画される。ビデオ通話モード時には、当該第2領域に描画された画像が画面中央領域108bに表示可能となる。
ステップS05においては、RAM102の予め定められた第3領域に、所定画像であるWEBページ全体を描画して、描画処理を終了する。相手端末モード時には、当該第3領域に描画されたWEBページのうち、相手端末から受信した特定用情報に応じた領域の画像が画面中央領域108bに表示可能となる。
一方、ステップS03においてP2P通信を開始するときであると判定されなかったときには、ステップS06においてP2P通信中であるか否かが判定される。P2P通信中であると判定されたときには、ステップS07において第2領域のビデオ通話画像を相手端末から受信した画像データに基づくビデオ通話画像に更新して、描画処理を終了する。これにより、ビデオ通話画像として動画像を表示可能となる。一方、P2P通信中であると判定されなかったときには、そのまま描画処理を終了する。
以上のように、描画処理により、画面中央領域108bに表示するための基となる画像が描画される。なお、本実施形態における描画処理では、自端末モード時に用いる第1領域への描画をも行う例について説明したが、当該第1領域への描画についてはWEBブラウザの機能により描画されるものとし、本描画処理においてステップS01およびS02の処理を行わないものであってもよい。
図8は、画像特定処理を説明するためのフローチャートである。ユーザ端末100は、WEBサーバ200にアクセスしてWEBページを受信してから当該WEBページの閲覧を終了するまでの間、WEBページに含まれるプログラムに基づいて、画像特定処理を予め定められた時間(例えば、50msec)毎に繰り返し実行する。
ステップS11では、表示モードが自端末モードであるか否かが判定される。なお、表示モードは、後述する表示処理(ステップS21、S23~S25等)において設定される。ステップS11において自端末モードであると判定されたときには、ステップS12においてRAM102の第1領域に描画されたWEBページのうち、自端末に対するスクロール操作に応じて画面中央領域108bに表示する領域(画像)を特定して、ステップS13に移行する。これにより、自端末モード時において画面中央領域108bに表示する画像が特定される。なお、ステップS12で特定された領域(画像)は、他の表示モードに切り替えられた後においても維持され、再び自端末モードに切り替えたときには当該維持されている領域(画像)が画面中央領域108bに表示されることになる。一方、ステップS11において自端末モードであると判定されなかったときには、そのままステップS13へ移行する。
ステップS13では、P2P通信中であって特定用情報を送受信する所定時間が経過したか否かが判定される。P2P通信中であって所定時間が経過したと判定されなかったときには、そのまま画像特定処理を終了する。一方、P2P通信中であって所定時間が経過したと判定されたときには、設定されている表示モードの種類にかかわらず、ステップS14において、ステップS12において特定されている領域(画像)であって、スクロール操作に応じた領域(画像)を特定可能とするための特定用情報を相手端末に送信する。これにより、自端末モード時において画面中央領域108bに表示する画像が相手端末においても特定可能となる。
ステップS15において、自端末のRAM102の第3領域に描画されたWEBページのうち、相手端末からの特定用情報に応じて画面中央領域108bに表示する領域(画像)を特定して、画像特定処理を終了する。これにより、相手端末モード時において画面中央領域108bに表示する画像が特定可能となる。相手端末からの特定用情報は、相手端末に表示している画像や、自端末に表示している画像がいずれの画像であるかにかかわらず、相手端末から送信され自端末において受信される。
以上のように、画像特定処理により、画面中央領域108bに表示するための画像が特定される。なお、本実施形態における画像特定処理では、自端末モード時における領域(画像)についても特定する例について説明したが、自端末モード時における領域(画像)を特定する処理についてはWEBブラウザの機能により行うものとし、本画像特定処理においてステップS11およびS12の処理を行わないものであってもよい。この場合、S14では、スクロール操作に応じてWEBブラウザの機能により特定された領域(画像)を利用して、当該領域(画像)を特定する特定用情報を送信するようにしてもよい。
図9は、表示処理を説明するためのフローチャートである。ユーザ端末100は、WEBサーバ200にアクセスしてWEBページを受信してから当該WEBページの閲覧を終了するまでの間、WEBページに含まれるプログラムに基づいて、表示処理を実行する。
ステップS21では、WEBページの閲覧を開始したとき等であるため、表示モードとして自端末モードを設定する。自端末モード時においては、自端末報知画像404を反転表示させる処理も行われる。ステップS22では、P2P通信の開始時であるか否かが判定される。ステップS22においては、ルームが作成されることによりP2P通信の開始時であると判定されるものとするが、実際にP2P通信が成立することによりP2P通信の開始時であると判定されるものであってもよい。
ステップS22でP2P通信の開始時であると判定されなかったときには、ステップS27において、RAM102の第1領域に描画されたWEBページのうち、自端末に対するスクロール操作に応じてステップS12において特定されている領域の画像を画面中央領域108bに表示する。これにより、P2P通信中でないときや自端末モードが設定されているときには、WEBページのうちスクロール操作に応じた箇所の画像が画面中央領域108bに表示されて、閲覧可能となる(図4(a)等参照)。
一方、ステップS22においてP2P通信の開始時であると判定されたときには、ステップS23において、開始時におけるデフォルトの表示モードとしてビデオ通話モードを設定する(図4(c)等参照)。また、ビデオ通話報知画像403を反転表示させる処理も行われる。なお、デフォルトの表示モードは、ビデオ通話モードに限らず、他の表示モードであってもよく、自端末モードを維持するものであってもよい。
ステップS24においては、切替操作が検出されたか否かが判定される。切替操作が検出されたときには、ステップS25において自端末モード、相手端末モード、およびビデオ通話モードのうち、当該切替操作に応じた表示モードを設定して、ステップS26へ移行する。また、相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404のうち、設定された表示モードに対応する報知画像を反転表示させる処理が行われる。なお、自端末モードからビデオ通話モードを介することなく相手端末モードに切り替えることや、相手端末モードからビデオ通話モードを介することなく自端末モードに切り替えることは規制されている。一方、ステップS24において切替操作が検出されていると判定されていないときには、ステップS26に移行する。
ステップS26においては、設定されている表示モードが自端末モードであるか否かが判定される。自端末モードであると判定されたときには、ステップS27に移行して前述したように自端末の画像を表示する。また、ユーザの意思およびタイミングで自端末モードに切り替える切替操作を行うことにより、自端末の画像に切り替えて表示することができる。一方、自端末モードであると判定されなかったときには、ステップS28において設定されている表示モードが相手端末モードであるか否かが判定される。
ステップS28において相手端末モードであると判定されたときには、ステップS29においてRAM102の第3領域に描画されたWEBページのうち、相手端末からの特定用情報に応じてステップS15において特定されている領域の画像を画面中央領域108bに表示する。これにより、P2P通信中において相手端末モードが設定されているときには、相手端末における自端末モード中のスクロール操作に応じて当該相手端末に表示されている画像を把握可能となる。また、ユーザの意思およびタイミングで相手端末モードに切り替える切替操作を行うことにより、相手端末への操作の有無にかかわらず(相手端末における共有操作等を要することなく)、自端末の画像に切り替えて表示することができる。
一方、ステップS28において相手端末モードであると判定されなかったときには、ビデオ通話モードが設定されていることになるため、ステップS30においてRAM102の第2領域においてステップS04で描画されたビデオ通話画像を画面中央領域108bに表示する。これにより、P2P通信中においてビデオ通話モードが設定されているときには、相手端末において撮像された画像(動画像)であって相手ユーザの様子を確認することができる。前述したように、P2P通信中においては、表示モードにかかわらず、相手端末からの音声のデータに基づいて相手ユーザの音声を出力することができる。
なお、ビデオ通話モードが設定されているときであっても、相手端末において通話切替アイコン405aが操作されて映像なしの音声通話に切り替えられている場合、ステップS30では、予め定められた画面(例えば、図4(c)で示した「AUDIO」といった文字列を含む画面、相手端末のユーザ名あるいはユーザが設定したキャラクタ画像等を表示する画面等)を画面中央領域108bに表示する。
ステップS31においては、終了アイコン405bがタッチ操作されてP2P通信が終了したか否かが判定される。P2P通信が終了したと判定されたときには、ステップS21に移行して自端末の画像を表示するための処理が行われる。一方、P2P通信が終了したと判定されていないときには、ステップS32において閲覧を終了したか否かが判定される。ステップS32においては、例えば、WEBブラウザを終了させたときや、WEBサーバ200へのアクセスを終了したときなどに閲覧を終了したと判定される。
閲覧を終了したと判定されていないときには、ステップS24に移行して表示モードの切替や表示モードに応じた画像を表示するための処理が行われる。一方、閲覧を終了したと判定されたときには、表示処理を終了する。
<第1実施形態による効果の一例>
(1) 上記実施形態におけるユーザ端末100(例えば、ユーザ端末X)は、WEBサーバ200からのWEBページ応答に含まれるプログラムに基づいて、図8のステップS14で示したように、当該WEBページのうち当該ユーザ端末Xのタッチスクリーン108に対するスクロール操作に応じて表示し得る領域(画像)を、他のユーザ端末100(例えば、P2P通信中のユーザ端末Y)において特定可能とするための特定用情報を出力するとともに、図8のステップS15で示したように、ユーザ端末Yのタッチスクリーン108に対するスクロール操作に応じて表示し得る領域(画像)を特定可能とするための特定用情報を受信する。また、ユーザ端末Xは、WEBサーバ200からのWEBページ応答に含まれるプログラムに基づいて、図9のステップS24~S30等で示したように、当該ユーザ端末Xのタッチスクリーン108(画面中央領域108b)に表示する画像を、タッチスクリーン108に対する切替操作に応じて、WEBページのうち当該ユーザ端末Xに対するスクロール操作に応じた画像と、ユーザ端末Yから受信した特定用情報から特定される画像とを含む複数種類の画像のうちのいずれかに切り替える。これにより、あるユーザ(例えば、ユーザX)は、WEBサーバ200にアクセスすることにより、WEBページのどの部分を閲覧しているのかを他のユーザ(例えば、ユーザY)と双方向で共有し合うことができ、なおかつユーザXの意思に応じてスワイプ操作等の簡便な操作によりWEBページのうち自端末(ユーザ端末X)において閲覧している画像(箇所)と、相手端末(ユーザ端末Y)において閲覧されている画像(箇所)とを切り替えて表示させることができる。その結果、ユーザXおよびユーザYは、各自のタイミングで他のユーザが閲覧している画像を認識可能となり、円滑なコミュニケーションを図ることができる。
(2) 切替操作により切り替えられる複数種類の画像には、図5等で示されるように、自端末と相手端末との間におけるビデオ通話画像が含まれる。これにより、相手端末において閲覧されている画像(箇所)に加えて、他のユーザの様子を把握でき、より円滑なコミュニケーションを図ることができる。また、切替操作により切り替えられる複数種類の画像には、相手端末において通話切替アイコン405aが操作されて映像なしの音声通話に切り替えられている場合、図4(c)に示されるように、ビデオ通話画像ではなく予め定められた画像が含まれる。これにより、ユーザの都合や好みに応じて、自分の映像を相手端末に表示させないようにすることが可能となる。
(3) 自端末モードからビデオ通話モードを介することなく相手端末モードに切り替えることや、相手端末モードからビデオ通話モードを介することなく自端末モードに切り替えることは規制されている。これにより、自端末モードから直接相手端末モードに切り替えられることや、相手端末モードから直接自端末モードに切り替えられることがないため、自端末の画面を相手端末の画面であると誤認識してしまうことや、相手端末の画面を自端末の画面であると誤認識してしまうことを低減できる。
(4) 設定されている表示モードの種類にかかわらず、表示モード各々に対応する複数種類の報知画像402~404が表示され、現在設定されている表示モードに対応する報知画像が反転表示(他の報知画像とは異なる態様で表示)される。このため、現在設定されている表示モードをユーザにわかりやすく報知でき、誤認識させてしまうことを防止できる。
また、複数種類の表示モード各々に対応する報知画像402~404は、図4(a)等に示されるように、水平方向に所定の順で配置表示されており、これと合せて、表示モードを切り替えるための切替操作も、水平方向に沿って移動させる操作、すなわち左右へのスワイプ操作に定められている。これにより、切替操作を感覚的にわかりやすいものとすることができる。
(5) 自端末および他端末において送信する特定用情報は、WEBサーバ200にアクセスしたときに受信したWEBページの特定位置を基点とした場合の、自端末モード中におけるスクロール操作に応じて画面中央領域108bに表示される画像の所定位置の座標位置を特定する情報であって、スクロール操作に応じた表示領域を特定する領域情報である。これにより、特定用情報のデータ量および画像を特定するための処理負担を低減できる。
[第2実施形態]
第1実施形態において、WebRTC(P2P通信を含む)などにより通信が成立しているユーザ端末は、当該ユーザ端末のすべて(全台)において、自端末の画像(スクロール操作に応じた画像)を他端末において特定可能とするための処理(例えば、特定用情報を他端末に送信)を行う例(プログラム、方法、および、情報処理装置)について説明した。しかし、例えば、所定画像について説明・紹介等をするユーザと、その説明・紹介等を受ける他のユーザとを想定すると、説明・紹介等をするユーザは、説明・紹介等に注力するために、他のユーザが利用するユーザ端末の画像を把握する必要性が低いことも有り得、この場合には、他のユーザが利用するユーザ端末の画像を他端末(例えば説明・紹介等をするユーザの端末)において特定可能とするための処理を無駄に行うこととなってしまう。このような使用状況下を考慮して、第2実施形態では、通信が成立しているユーザ端末のうち、少なくとも1以上のユーザ端末においては自端末の画像を他端末において特定可能とするための処理を行う一方で、他のユーザ端末においては自端末の画像を他端末において特定可能とするための処理を行わない(例えば、特定用情報を他端末に送信しない)プログラム、方法、および、情報処理装置を例示する。
以下では、第1実施形態で説明したユーザXがユーザYに対して所定画像の一例としてのWEBページの内容について説明・紹介等するために、ユーザXがユーザ端末Xを用いてルームを作成して共有用リンクをユーザYのユーザ端末Yに送信することにより、ユーザ端末Xとユーザ端末Yとで通信が成立しているものとする。
図10~図12は、第2実施形態における描画処理、画像特定処理、および表示処理を説明するためのフローチャートである。以下においては、第1の実施形態と同じ構成に関する重複した説明は省略し、異なる構成について説明する。図10~図12では、第1実施形態における対応する処理と、点線で囲った構成が異なる。
図10の描画処理では、ステップS04からステップS04aに移行して、当該描画処理を実行しているユーザ端末がルーム作成側のユーザ端末であるか否かを判定する。ユーザ端末においては、図4(b)に示すようにルームを作成することにより、当該ルームを作成した旨を特定可能な情報をRAM102の所定領域に記憶するものとする。ルームを作成した旨を特定可能な情報は、他端末との通信が所定時間以内に成立しないときや、他端末との通信が終了したときなどにクリアされる。ステップS04aでは、ルームを作成した旨を特定可能な情報が記憶されているか否かを判定することにより、当該描画処理を実行しているユーザ端末がルーム作成側のユーザ端末であるか否かを判定する。
ステップS04aにおいてルーム作成側のユーザ端末であると判定されたとき(例えば、ユーザ端末Xが処理を実行しているとき)には、他端末(例えば、ユーザ端末Y)の画像を表示しないため、描画処理を終了する。一方、ステップS04aにおいてルーム作成側のユーザ端末であると判定されなかったとき(例えば、ユーザ端末Yが処理を実行しているとき)には、他端末(例えば、ユーザ端末X)の画像を表示可能とするために、ステップS05において、RAM102の第3領域に所定画像であるWEBページ全体を描画して、描画処理を終了する。
図11の画像特定処理では、ステップS13においてP2P通信中であって所定時間が経過したと判定されたときに、ステップS13aに移行して、当該画像特定処理を実行しているユーザ端末がルーム作成側のユーザ端末であるか否かを判定する。ステップS13aにおいてルーム作成側のユーザ端末であると判定されたときには、ステップS14aにおいてステップS12において特定されている領域(画像)であって、スクロール操作に応じた領域(画像)を特定可能とするための特定用情報を相手端末に送信して、画像特定処理を終了する。これにより、ルーム作成側のユーザ端末においては、通信開始とともに、共有するための操作等を要することなく自端末の画像を相手端末において特定可能とすることができる。
一方、ステップS13aにおいてルーム作成側のユーザ端末であると判定されなかったときには、ステップS15aにおいて、自端末のRAM102の第3領域に描画されたWEBページのうち、相手端末からの特定用情報に応じて画面中央領域108bに表示する領域(画像)を特定して、画像特定処理を終了する。これにより、ルーム作成側ではないユーザ端末においては、通信開始とともに、共有許可を求めるための操作等を要することなく相手端末モード時において画面中央領域108bに表示する画像が特定可能となる。なお、ステップS13aにおいてルーム作成側のユーザ端末であると判定されなかったときには、ステップS14aに対応する処理が行われず、ステップS12において特定されている領域(画像)であってスクロール操作に応じた領域(画像)を特定可能とするための特定用情報がルーム作成側のユーザ端末に送信されない。これにより、無駄な処理が行われることを防止でき、処理負担を軽減できる。
図12の表示処理では、ステップS24において切替操作が検出されたと判定されたときには、ステップS24aに移行して、当該表示処理を実行しているユーザ端末がルーム作成側のユーザ端末であるか否かを判定する。ステップS24aにおいてルーム作成側のユーザ端末であると判定されたときには、ステップS25aにおいて自端末モードおよびビデオ通話モードの2つの表示モードのうちから、当該切替操作に応じた表示モードを設定して、ステップS26へ移行する。このように、ルーム作成側のユーザ端末(説明等する側のユーザ端末)においては、自端末モードおよびビデオ通話モードのうちのいずれかに切り替えることができる。
一方、ステップS24aにおいてルーム作成側のユーザ端末であると判定されなかったときには、ステップS25bにおいて自端末モード、相手端末モード、およびビデオ通話モードの3つの表示モードのうち、当該切替操作に応じた表示モードを設定して、ステップS26へ移行する。このように、ルーム作成側ではないユーザ端末(説明等を受ける側のユーザ端末)においては、自端末モード、相手端末モード、およびビデオ通話モードのうちのいずれかに切り替えることができる。
図13は、P2P通信中におけるルーム作成側のユーザ端末Xにおけるタッチスクリーン108の表示画面例と、ルーム作成側ではないユーザ端末Yにおけるタッチスクリーン108の表示画面例とを示している。
図13(a’)は、ユーザ端末Xの画面であって、WEBページのうちユーザXが説明している画面が例示されている。ユーザ端末Xにおいては、図12のステップS25aで示したように、自端末モードと、ビデオ通話モードとに切り替えることができ、いずれのモードであるかにかかわらず図11のステップS14aで示したように、特定用情報が送信される。また、ユーザ端末Xにおいては、いずれのモードであるかにかかわらず、図11のステップS14aで示したように図10のステップS07に示すようにビデオ通話画像が更新されるとともに、ユーザ端末Xのマイクロフォン106に入力された音声(音声のデータ)を送信し、相手端末であるユーザ端末Yからの音声のデータに基づく音声をスピーカ107から出力する。これにより、ユーザXからの音声をユーザYに伝えることができ、かつユーザYからの音声を聞くことができるため、ユーザXはユーザYと円滑なコミュニケーションを図ることができる。なお、図13(a’)では、相手端末報知画像402が表示されているが、第2実施形態におけるユーザ端末X側においては相手端末モードに切り替えることができないため、相手端末報知画像402がグレー表示されているものであってもよく、非表示とするものであってもよい。
一方、ユーザ端末Yにおいては、図12のステップS25bで示したように、ユーザの意思およびタイミングで、自端末モードと、相手端末モードと、ビデオ通話モードとに切り替えることができる。また、ユーザ端末Yにおいては、いずれのモードであるかにかかわらず、ユーザ端末Yの画像を特定するための特定用情報については送信(出力)されない一方で、相手端末であるユーザ端末Xからの特定用情報を受信する。また、ユーザ端末Yにおいては、いずれのモードであるかにかかわらず、図10のステップS07に示すようにビデオ通話画像が更新されるとともに、ユーザ端末Yのマイクロフォン106に入力された音声(音声のデータ)を送信し、相手端末であるユーザ端末Xからの音声のデータに基づく音声をスピーカ107から出力する。これにより、ユーザXからの音声を聞くことができ、かつユーザYからの音声をユーザXに伝えることができるため、ユーザYはユーザXと円滑なコミュニケーションを図ることができる。
図13(a)は、ユーザ端末Yの表示画面例を示しており、図13(a1)が相手端末モード時の表示画面例であり、図13(a2)がビデオ通話モード時の表示画面例であり、図13(a3)が自端末モード時の表示画面例である。ユーザYは、ユーザ端末Xへの共有操作等を要することなく、ユーザYの意思およびタイミングで、相手端末モードに切り替えることによりユーザXの説明している箇所を確認でき、自端末モードに切り替えることによりユーザXの説明している箇所とは異なる箇所でって、ユーザY自身が見たい箇所を確認でき、またさらに相手端末モードに切り替えることによりユーザXの説明している箇所を確認することができる。
図13(b)および図13(b’)は、ユーザXが説明している箇所が変化した場合の表示画面例を示している。図13(b’)は、ユーザ端末Xにおいて、ユーザXがスクロール操作して、WEBページのうちの例えば「最近チェックした商品」の商品画像等を含む箇所をユーザ端末Xの画面中央領域108bに表示している表示画面例を示している。前述したように、ユーザ端末Xは、設定されている表示モードにかかわらず、自端末モード時において当該ユーザ端末Xの画面中央領域108bに表示され得る画像を特定するための特定用情報を所定時間毎に送信しており、当該特定用情報をユーザ端末Yは受信する。このため、ユーザYは、ユーザ端末Yの表示モードを相手端末モードに切り替えることにより、図13(b1)に示すようにユーザ端末Yの画面中央領域108bにWEBページのうちの「最近チェックした商品」の商品画像等を含む箇所が表示されて、ユーザXの説明を聞きながらユーザXが閲覧している箇所をリアルタイムに把握することができる。また、例えば図13(a’)におけるユーザXの説明に気になる点が後から出てきたときなどにおいて、ユーザYの意思およびタイミングで自端末モードに切り替えることにより図13(a’)のタイミングでユーザXが説明していた箇所を再度確認することができる。このため、説明・紹介等を受ける側のユーザの利便性を向上させることができる。また、説明・紹介等を行う側のユーザにおいても説明・紹介に集中できる。
<変形例>
以上説明した実施形態の変形例などを以下に列挙する。
(1) 上記実施形態においては、切替対象となる複数種類の画像として、自端末の画像と、相手端末の画像と、ビデオ通話画像とを例示したが、自端末の画像と、相手端末の画像とを含むものであれば、ビデオ通話画像などの他の画像を含まないものであってもよく、また、他の画像を含む場合であっても当該他の画像はビデオ通話画像に限るものではない。切替対象となる複数種類の画像は、例えば、ビデオ通話画像に替えてあるいは加えて、複数のユーザ端末間においてチャットを可能とし、当該チャットにより送受信したメッセージ履歴を表示するチャット画像や、音声通話時における予め定められた画像(ビデオ通話画像が表示されることがない)などであってもよい。
(2) 上記第1実施形態および上記変形例においては、P2P通信が成立すると、自端末の画像を特定可能とするための特定用情報を相手端末に送信する例について説明したが、これに限らず、特定用情報を相手端末に送信するか否かを自端末のユーザが選択できるようにしてもよい。例えば、共有アイコンを配置して、当該共有アイコンへの操作が検出されることにより特定用情報を相手端末に送信する制御を行って相手端末に自端末の画像が表示されることを許容し、特定用情報を相手端末に送信する制御を行っている間において当該共有アイコンへの操作が検出されることにより特定用情報を相手端末に送信しないことにより相手端末に自端末の画像が表示されることを許容しないようにしてもよい。これにより、ユーザの都合や好みに応じて、自端末の画像を相手端末に共有するか否かを選択することが可能となり、利便性を向上させることができる。なお、P2P通信が開始されたときには、デフォルトとして、相手端末において自端末の画像が表示されることを許容した状態に設定されるものであってもよく、許容しない状態に設定されるものであってもよく、また、P2P通信が開始されたときに許容した状態か許容しない状態かを当該P2P通信を開始する前の段階から設定(例えば初期設定)できるようにしてもよい。
また、上記の共有アイコンは、WEBページが表示されていない画面(例えばビデオ通話モード時の画面)においてのみ表示され、WEBページを表示する自端末モード時や相手端末モード時の画面においては非表示となるようにしてもよい。これにより、共有アイコンによりWEBページを表示する自端末モード時や相手端末モード時の画面が阻害されてしまうことを防止できる。これに限らず、上記の共有アイコンは、WEBページが表示されている画面のうち自端末モード時の画面において表示されるものであってもよい。これにより、自端末モード時の画面においてセキュリティー面などにおいて相手に見せたくない画面を表示する(あるいは表示している)場合の利便性を向上させることができる。
(3) 上記実施形態および上記変形例においては、ユーザ端末100において送受信される特定用情報として、WEBページの特定位置を基点とした場合の自端末モード中におけるスクロール操作に応じて画面中央領域108bに表示される画像の所定位置の座標位置を特定する情報であって、スクロール操作に応じた表示領域を特定する領域情報である例について説明した。しかし、ユーザ端末100において送受信される特定用情報は、自端末モード中におけるスクロール操作に応じて画面中央領域108bに表示される画像を相手端末において特定可能となる情報であればこれに限るものではない。ユーザ端末100において送受信される特定用情報は、例えば、自端末モード中における画面中央領域108bに対するスワイプ操作の態様(方向・スクロール量等)や、タッチ操作、ピンチアウト操作・ピンチイン操作、スクロールバーに対する操作などスクロール操作の態様(操作内容)を特定可能な操作態様情報であってもよく、自端末モード中における画面中央領域108bに表示されている画像そのものを表示可能とする画像情報であってもよい。いずれの場合においても、図8のステップS15においては、特定用情報に応じた領域(画像)を随時特定し、相手端末モード時には、図9のステップS29において当該特定されている相手端末において表示している領域の画像を表示し、相手端末の画面を把握可能となる。
(4) 上記実施形態および上記変形例においては、図7~図12に示す処理を行い図4~図6、図13に例示する画面を表示するためのプログラムを、WEBサーバ200にアクセスして得られるWEBページに含まれる例について説明したが、これに限らず、所定のサーバから予めダウンロードしてインストールされるものであってもよく、この場合、当該プログラムがインストールされているユーザ端末間において各ユーザ端末の画像を各々共有できるものであってもよい。
(5) 上記実施形態および上記変形例においては、ユーザ端末間において共有される所定画像として、WEBサーバ200にアクセスして得られるWEBページを例示したが、所定画像としては、これに限らず、少なくとも一のユーザ端末において保存あるいは表示可能にされている画像(例えば、WEBページ、資料、写真、ドキュメント、営業用の資料、説明書、賃貸物件の部屋の資料等)であってもよい。この場合、P2P通信中のユーザ端末のうち当該画像を保存するユーザ端末が他のユーザ端末に対して、当該画像を表示可能とするための画像データを送信するようにしてもよい。また、所定画像は、複数種類の画像(例えば、写真と、営業用の資料など)から構成される画像であってもよく、複数の階層からなる画像であってもよい。複数の階層からなる画像としては、例えば、第1階層の画像における第1のリンクを選択(クリック、タッチ操作等)することにより第2階層の画像が表示可能となり、第1階層の画像における第2のリンクを選択することにより第3階層の画像が表示可能となり、第2階層および第3階層の画像についても同様にリンクを選択することにより当該リンクに対応する階層の画像が表示されるものであってもよい。
(6) 上記実施形態および上記変形例においては、2つのユーザ端末間において画像を共有する例について説明したが、画像を共有するユーザ端末の数は、これに限らず、3つ以上であってもよい。例えば3人のユーザで共有する場合、切替対象となる複数種類の画像としては、例えば、自端末の画像と、他の第1ユーザ所有の第1相手端末の画像と、他の第2ユーザ所有の第2相手端末の画像と、ビデオ通話画像などの他の画像とを含み、左から第1相手端末の画像、第2相手端末の画像の順で配置され、次に他の画像が配置され、最も右に自端末の画像が配置(つまり、相手端末の画像と、自端末の画像との間に他の画像を挟むように配置)されるようにしてもよい。これにより、最も左の画像を表示するように左から右にスワイプ操作することにより、第1相手端末の画像を表示し、その状態から右から左にスワイプ操作する毎に、第2相手端末の画像→他の画像→自端末の画像といったように、ユーザの意思に応じた画像を表示可能となる。また、画像の配置順に対応するように、報知画像を、左から第1相手端末報知画像、第2相手端末報知画像、他の画像に対応する報知画像、自端末報知画像の順となるように表示するようにしてもよい。また、複数のユーザ端末間においては、P2P通信により接続する例について説明したが、通信形式はこれに限らず、例えば、所定のサーバを介して接続するものであってもよく、無線LANあるいは有線LANを介して接続するものや、近距離間データ通信が可能な無線通信技術により接続するものであってもよい。
また、第2実施形態および上記変形例では、説明・紹介等を行う側のユーザ端末として1つのユーザ端末(ユーザ端末X)を例示し、説明・紹介等を受ける側のユーザ端末として1つのユーザ端末(ユーザ端末Y)を例示したが、通信可能なユーザ端末数はこれに限るものではない。例えば、説明・紹介等を行う側のユーザ端末としては、2以上のユーザ端末であってもよく、この場合には、2以上のユーザ端末のうちのいずれか1のユーザ端末の画像のみを説明・紹介等を受ける側のユーザ端末に共有するようにしてもよく、所定数のユーザ端末各々の画像を説明・紹介等を受ける側のユーザ端末に共有するようにしてもよく、2以上のユーザ端末すべての各々の画像を説明・紹介等を受ける側のユーザ端末に共有するようにしてもよい。また、1のユーザ端末の画像のみを共有する場合や、所定数のユーザ端末各々の画像を共有する場合には、当該共有するユーザ端末を、P2P通信を開始する際や、P2P通信中の任意のタイミングにおいて、説明・紹介等を行う側のユーザ端末への所定の操作により指定・変更等ができるようにしてもよい。また、1のユーザ端末の画像のみを共有するか、所定数のユーザ端末各々の画像を共有するか、2以上のユーザ端末すべての各々の画像を共有するかなどについては、P2P通信を開始する際や、P2P通信中の任意のタイミングにおいて、説明・紹介等を行う側のユーザ端末への所定の操作により指定・変更等ができるようにしてもよい。また、説明・紹介等を受ける側のユーザ端末としても、2以上のユーザ端末であってもよい。
(7) 上記実施形態および上記変形例においては、切替操作としてタッチスクリーン108に対する例えば左右方向へのスワイプ操作を例示したが、タッチスクリーン108のうち画面中央領域108b内への左右方向へのスワイプ操作を切替操作として有効に受け付けるものであってもよい。
また、切替操作は、画面中央領域108bの一部領域(例えば縦(垂直)方向の領域が報知画像を含む領域であって左端から右端までの領域などの所定画像(WEBページ)に重畳して画像が表示され得る領域)内へのスワイプ操作を有効に受け付けるものであってもよい。また、切替操作は、画面中央領域108b以外の特定の領域(例えば、画面上方領域108a、画面下方領域108c等)内へのスワイプ操作を有効に受け付けるものであってもよい。この場合には、画面中央領域108bのWEBページの任意の箇所を表示させるためのスクロール操作を受け付ける領域と、切替操作を受け付ける領域とを切り分けることができるため、操作性を向上させることができる。
また、切替操作は、スワイプ操作に限らず、例えば、相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404に対するタッチ操作であってもよく、この場合、タッチ操作された報知画像に対応する表示モードに切り替えられるようにしてもよい。また、切替操作は、ユーザ端末に搭載されている操作検出部109への操作であってもよく、また、ユーザ端末自体への動作を特定するためのセンサ(例えば、加速度センサ、角速度センサ等)を備えておりユーザ端末自体を左あるいは右へ振る操作などであってもよい。また、切替操作は、表示部に表示する箇所を特定するためのスクロールバー等を表示し、当該スクロールバーを移動させることによりその位置に応じた箇所の画像に切り替えるものであってもよい。
(8) 上記実施形態および上記変形例においては、相手端末の画像を表示するために、ステップS05においてRAM102の第3領域に所定画像であるWEBページ全体を描画する例について説明した。しかし、共有する画像は同じ画像(例えば、同じWEBページの画像)であるため、ステップS05の処理は行わずに、例えば、相手端末における画像の特定においても、ステップS02において第1領域に描画されたWEBページを用いて、当該第1領域に描画されたWEBページのうち、相手端末から受信した特定用情報に応じた領域の画像を画面中央領域108bに表示可能となるようにしてもよい。なお、自端末の画像と他端末の画像とは、同じ所定画像内の画像である例について説明したが、これに限らず、異なる画像であってもよい。例えば、ユーザ端末Xの画像は、所定のWEBページの画像であるのに対し、ユーザ端末Yの画像は、所定の資料の画像であってもよい。また、ユーザ端末Xの画像は、所定のWEBページの画像と営業用の資料であるのに対し、ユーザ端末Yの画像は、所定のWEBページの画像と営業用の資料とに加えて、所定のドキュメントの画像が含まれるものであってもよい。
(9) 上記実施形態および上記変形例においては、タッチスクリーン108の画面下方領域108cに複数のアイコン類を表示する例について説明したが、これに限らず、当該複数のアイコン類を表示せずに、当該画面下方領域108cにおいてもWEBページなどの所定画像を表示するようにしてもよい。これにより、所定画像を表示する画面領域が広くなり、視認性を向上させることができる。この場合、画面下方領域108cに表示されていた複数のアイコン類は、例えばアイコン401をタッチ操作することにより表示されるようにしてもよい。
(10) 上記実施形態および上記変形例においては、自端末の画像と相手端末の画像とを含む複数種類の画像が左右方向(水平方向)に沿って切り替えられ、切替操作も左右方向(水平方向)に沿った操作に定められている例を示したが、切り替えられる方向は、これに限らず、例えば上下方向(垂直方向)に沿って切り替えられるものであってもよく、この場合の切替操作も上下方向(垂直方向)に沿った操作に定められているものであってもよい。
(11) 上記実施形態および上記変形例においては、情報処理装置として携帯可能なスマートフォンなどを主に説明したが、例えば据え置き型のパーソナルコンピュータの場合においても、自端末の画像と相手端末の画像とを含む複数種類の画像のうち切替操作に応じたいずれかの画像を当該パーソナルコンピュータに接続されている表示装置に表示するが、これに加えて、自端末の画像と相手端末の画像とを含む複合画像を1画面に表示するか否かを設定できるようにし、当該設定に応じて切替操作により切り替えて表示するか1画面に表示するようにしてもよい。
具体的には、情報処理装置の表示部を制御する制御パターンとして、自端末の画像と相手端末の画像とを含む複数種類の画像のうち切替操作に応じたいずれかの画像を表示する第1制御パターンと、自端末の画像と相手端末の画像とを含む複合画像を1画面に表示する第2制御パターンとを含む複数種類の制御パターンを設け、複数種類の制御パターンのうちのいずれかを設定し、当該設定されている制御パターンに基づいて情報処理装置の表示部を制御してもよい。これにより、情報処理装置の表示部を制御する制御パターンが複数種類の制御パターンのうちから設定されるため、利便性を向上させることができる。
制御パターンを設定する処理としては、例えば、情報処理装置の表示部の表示サイズ(例えば、解像度、画素数、インチ数など)を特定し、当該表示サイズに応じて、所定サイズ未満であるときには第1制御パターンを自動設定し、所定サイズ以上であるときには第2制御パターンを自動設定するようにしてもよい。これにより、使用する情報処理装置の表示部の表示サイズに応じて制御パターンを自動でカスタマイズできる。
また、制御パターンを設定する処理としては、例えば、ユーザの入力操作(設定用アイコンへの操作など)に応じて、ユーザが選択した制御パターンが設定されるようにしてもよい。これにより、ユーザの意思・好みに応じて制御パターンをカスタマイズできる。さらに、初期段階(共有・P2P通信を開始した際)においては、表示サイズに応じた制御パターンを自動設定し、事後的に、ユーザの入力操作に応じて制御パターンを変更設定できるようにしてもよい。これにより、利便性を向上できる。
(12) 上記実施形態および上記変形例においては、自端末のマイクロフォン106に入力された音声のデータを他端末に送信し、他端末からの音声のデータに基づきスピーカ107から出力する例について説明した。しかし、他端末側において音声のデータの出力が許可されていないときには、自端末のマイクロフォン106に入力された音声を他端末において出力するための処理を実行せず(例えば、自端末のマイクロフォン106に音声が入力されたとしても当該音声のデータを他端末に送信せず)、他端末側において音声のデータの出力が許可されているときに自端末のマイクロフォン106に入力された音声を他端末において出力するための処理を実行する(例えば、自端末のマイクロフォン106に入力された音声のデータを他端末に送信して当該他端末から音声を出力させる)ようにしてもよい。一例として、第2実施形態における説明等する側のユーザ端末Xと、説明等を受ける側のユーザ端末Yとおいて、ユーザ端末Xにおいて他端末からの音声のデータの出力を許可するか否かが設定可能であり、音声のデータの出力が許可されていないときには、ユーザ端末Yのマイクロフォン106に音声が入力されたとしても当該音声のデータをユーザ端末Xに送信せず、ユーザ端末X側において音声のデータの出力が許可されているときにユーザ端末Yのマイクロフォン106に入力された音声のデータをユーザ端末Xに送信して当該ユーザ端末Xから音声を出力させるようにしてもよい。一方、ユーザ端末Y側においては、説明等を受ける側であるため、ユーザ端末Xからの音声のデータの出力を許可するか否かの設定ができないように構成されている。これにより、ユーザ端末Y側においては、ユーザXからの音声を確実に出力させることができる一方、ユーザ端末X側においては、ユーザYから音声が出力されることが望ましくない場合(説明が邪魔されるなど)には出力を許可しないことにより、ユーザYからの音声を遮断でき説明等に専念することができ、利便性を向上させることができる。
特に、ユーザ端末Xの画像を共有するユーザ端末の数を2つ以上とした場合、つまり、説明等を行う側のユーザ端末Xの画像を複数のユーザ端末(説明等を受ける側のユーザ端末)において共有して説明する場合であって、ユーザ端末Xからの音声を複数のユーザ端末各々から出力可能であり、複数のユーザ端末のいずれかからの音声をユーザ端末Xおよびその他のユーザ端末各々から出力可能な場合には、複数のユーザ端末のいずれかからの音声が錯綜してユーザXの説明の邪魔になる虞や、複数のユーザ各々からの音声が入り乱れて混乱を招いてしまう虞がある。つまり、他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報は、複数の情報処理装置において受信可能な情報とし、他の情報処理装置から受信する音声情報は、複数の情報処理装置における第2のステップにより出力される音声情報から特定される音声を含む場合には、複数の情報処理装置からの音声により上記のような種々の不具合が生じる虞がある。しかし、ユーザ端末X側において複数のユーザ端末(説明等を受ける側のユーザ端末)各々からの音声の出力を許可するか否かを設定可能とすることにより、ユーザXが許可したときにだけ複数のユーザ各々からの音声を各ユーザ端末から出力でき、許可していないときには出力されないため、利便性を向上させることができる。なお、ユーザ端末Xによる音声の出力を許可するか否かの設定に関して、複数のユーザ端末すべてを対象として全ユーザ一律に音声の出力を許可するか否かの設定を行うものや、これに替えてあるいは加えて、ユーザ端末毎(1ユーザ毎)に音声の出力を許可するか否かの設定を行うものであってもよい。これにより、利便性をより一層向上できる。
(13) 上記第2実施形態および上記変形例では、第1の画像(例えば、ユーザ端末Y側の画像)を他の情報処理装置(例えば、ユーザ端末X)において特定可能とするための処理を実行しないこととして、図11で説明したとおり、ユーザ端末Yにおけるスクロール操作に応じた領域(画像)を特定する特定用情報を出力しないさせるための処理を行わないことを例示したが、これに限らず、ユーザ端末Yから特定用情報を出力するもののユーザ端末X側で受信しないかあるいは特定用情報を用いた表示処理を実行しないものであってもよい。
(14) 上記第2実施形態および上記変形例では、図13で説明したように、ユーザ端末Xが説明・紹介等を行う側のユーザ端末となり、相手端末モードに切り替え可能であるが自端末の画像を特定するための特定用情報を出力しないユーザ端末Yが説明・紹介等を受ける側のユーザ端末となる関係として説明したが、これに限らず、ユーザ端末Xが説明・紹介等を受ける側のユーザ端末となり、相手端末モードに切り替え可能であるが自端末の画像を特定するための特定用情報を出力しないユーザ端末Yが説明・紹介等を行う側のユーザ端末となる関係となるものであってもよい。
(15) 上記第2実施形態および上記変形例では、図10のステップS04a、図11のステップS13a、および図12のステップS24a等で示したように、処理を実行しているユーザ端末が、ルーム作成側のユーザ端末か否かを判定したが、例えば、通信の開催者側のユーザ端末であることを特定するものであれば例えば共有用リンクを送信した側のユーザ端末か否かを判定してもよい。また、図10のステップS04a、図11のステップS13a、および図12のステップS24aでは、通信の開催者側のユーザ端末であるか否かを判定しているが、これに限らず、特定のユーザ端末であるか否かを判定してもよい。特定のユーザ端末は、例えば、通信の開催者側ではないユーザ端末(図13におけるユーザ端末Y)としてもよく、また通信の開催者か否かにかかわるものではなく、例えば、P2P通信を開始する際や、P2P通信中の任意のタイミングにおいて、当該通信中の全ユーザ端末あるいは当該通信中の全ユーザ端末のうち特定のユーザ端末(例えば、通信の開催者側のユーザ端末)において所定の設定操作が行われることにより、通信中のユーザ端末のうちで指定・変更等ができるものであってもよい。
(16) 上記実施形態および上記変形例では、第1実施形態で示した例と、第2実施形態で示した例とを別個の技術的事項として説明したが、これに限らず、例えば、第1実施形態で説明した処理(双方画像共有するための処理を含む図1~図9で示した処理、以下、第1処理ともいう)と、第2実施形態で説明した第2処理(一方の画像のみ共有するための処理を含む図10~図13で示した処理、以下、第2処理ともいう)とのいずれをも実行可能とし、第1処理を実行するか第2処理を実行するかをユーザ端末への入力操作により選択して設定可能とするプログラム、方法、および情報処理装置であってもよい。より具体的には、P2P通信を開始する際に、例えば通信の開催者側のユーザ端末における入力操作に応じて、いまから開始する通信中において、第1処理を行うか、第2処理を行うかを選択できるものであってもよく、初期設定などにおいてユーザ端末における入力操作に応じて第1処理を行うか第2処理を行うかを予め選択でき、選択されている処理を実行するものであってもよい。これにより、相手方端末(例えば、通信の開催者側ではないユーザ端末)においては、通信開始とともに操作を要することなく、通信の開催者側のユーザ端末側において選択されている処理が実行される。また、P2P通信開始後においても通信中の任意のタイミングで、当該通信中の全ユーザ端末あるいは当該通信中の全ユーザ端末のうち特定のユーザ端末(例えば、通信の開催者側のユーザ端末)における入力操作に応じて、第1処理から第2処理へ切り替え可能であり、また、第2処理から第1処理へ切り替え可能であるものであってもよい。これにより、相手方端末(例えば、通信の開催者側ではないユーザ端末)においては、通信中においても操作を要することなく、通信の開催者側のユーザ端末側において選択された処理が実行される。また、利便性をより一層向上できる。
(17) 上記実施形態および上記変形例では、相手端末報知画像402、ビデオ通話報知画像403、および自端末報知画像404を表示し、画面中央領域108bの表示モードを報知する例について説明した。しかし、これに替えてあるいは加えて、複数種類の表示モードのうち画面中央領域108bに表示されている画面がいずれの画面であるかを識別可能な識別画像を表示することにより、現在の表示モードをユーザが把握できるようにしてもよい。すなわち、複数種類の識別画像のうち、切替操作により切り替えられた表示モードに対応する識別画像に切り替えて表示するものであってもよい。相手端末モードを識別可能な識別画像としては、例えば、相手端末のユーザ名(ユーザXの画面など)や、相手端末の役割名(説明者の画面、主催者の画面など)、相手端末に対応するアイコン、マークなどのいずれかであってもよい。ビデオ通話モードを識別可能な識別画像としては、例えば、相手端末のユーザ名(ユーザXの様子など)や、相手端末の役割名(説明者の様子、主催者の様子など)、相手端末の様子に対応するアイコン、マークなどのいずれかであってもよい。自端末モードを識別可能な識別画像としては、例えば、自端末のユーザ名(ユーザYの画面、あなたの画面など)や、自端末の役割名(視聴者の画面、学生の画面など)、自端末に対応するアイコン、マークなどのいずれかであってもよく、自端末モードの識別画像としては何も表示しないことにより自端末モードであることを報知するものであってもよい。また、識別画像は、例えば、画面中央領域108bの所定領域(例えば、右下領域)に表示するものや、画面中央領域108b以外の予め定められた領域に表示するものであってもよい。また、識別画像は、常に表示されるものであってもよく、切替操作が行われて表示モードが切り替えられてから所定時間(例えば10秒)が経過するまで表示され、所定時間経過時に非表示となるものであってもよい。
1 通信システム、2 ネットワーク、100 ユーザ端末、200 WEBサーバ、300 シグナリングサーバ。

Claims (16)

  1. プロセッサ、メモリ、入力部、および表示部を備える情報処理装置において実行されるプログラムであって、
    前記情報処理装置に、
    所定画像のうち前記入力部への第1の操作に応じた第1の画像を特定するステップと、
    他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップと、
    前記表示部に表示する画像を、前記入力部に対する第2の操作に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップとを実行させ、
    前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信し、
    前記切り替えるステップは、前記表示部に前記第2の画像と異なる画像が表示されているときに、前記他の情報処理装置の入力部への操作の有無にかかわらず、前記情報処理装置の前記入力部に対して前記第2の操作が行われることにより、当該第2の操作が行われたタイミングで前記第2の画像へ切り替え可能である、プログラム。
  2. プロセッサ、メモリ、入力部、および表示部を備える情報処理装置において実行されるプログラムであって、
    前記情報処理装置に、
    所定画像のうち前記入力部への第1の操作に応じた第1の画像を特定するステップと、
    他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップと、
    前記表示部に表示する画像を、前記入力部に対する第2の操作に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップとを実行させ、
    前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記情報処理装置の前記表示部に前記複数種類の画像のうちのいずれが表示されているかにかかわらず、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信する、プログラム。
  3. 前記情報処理装置に、
    前記所定画像のうち当該情報処理装置の入力部への操作に応じた画像と前記受信するステップにより受信した情報から特定される画像とを少なくとも含む複合画像を、当該情報処理装置の表示部に表示するステップと、
    前記情報処理装置の制御パターンを複数種類の制御パターンのうちから設定するステップとを実行させ、
    前記複数種類の制御パターンは、前記特定するステップと、前記受信するステップと、前記切り替えるステップとを実行させる第1制御パターンと、前記特定するステップと、前記受信するステップと、前記複合画像を表示するステップとを実行させる第2制御パターンとを含む、請求項1または請求項2に記載のプログラム。
  4. 前記制御パターンを設定するステップは、前記情報処理装置の表示部の表示サイズに応じて、所定サイズ未満であるときには前記第1制御パターンを設定し、前記所定サイズ以上であるときには前記第2制御パターンを設定する、請求項3に記載のプログラム。
  5. 前記制御パターンを設定するステップは、前記複数種類の制御パターンのうち前記入力部への第3の操作に応じた制御パターンを設定する、請求項3または請求項4に記載のプログラム。
  6. 前記第1状態においては、前記第1の画像を前記他の情報処理装置において特定可能とするための情報を出力しない、請求項1~請求項4のいずれかに記載のプログラム。
  7. 前記情報処理装置は、音声を出力する音声出力部と、音声を入力する音声入力部とを備え、
    前記情報処理装置に、
    前記他の情報処理装置の音声入力部に対して入力された音声であって前記所定画像の内容についての説明を含む音声を特定可能とするための音声情報を受信して前記音声出力部から音声を出力する第1のステップと、
    当該情報処理装置の前記音声入力部に対して入力した音声を前記他の情報処理装置において出力可能とするための音声情報を出力する第2のステップとを実行させる、請求項1~請求項6のいずれかに記載のプログラム。
  8. 前記第2のステップは、前記他の情報処理装置により前記音声情報の出力が許可されていないときには前記情報処理装置の前記音声入力部に対して入力した音声を前記他の情報処理装置において出力するための処理を実行せず、前記他の情報処理装置により前記音声情報の出力が許可されているときには前記情報処理装置の前記音声入力部に対して入力した音声を前記他の情報処理装置において出力するための処理を実行可能とする、請求項7に記載のプログラム。
  9. 前記複数種類の画像は、前記所定画像とは異なる画像を含む、請求項1~請求項8のいずれかに記載のプログラム。
  10. 前記受信するステップにより受信される情報は、前記所定画像のうちの入力部への第1の操作に応じた領域を特定するための領域情報である、請求項1~請求項9のいずれかに記載のプログラム。
  11. 前記入力部はタッチパネルであり、
    前記第1の操作は、前記タッチパネルに対する操作を含み、
    前記受信するステップにより受信される情報は、前記タッチパネルに対する操作の態様を特定可能とするための操作態様情報である、請求項1~請求項9のいずれかに記載のプログラム。
  12. 前記受信するステップにより受信される情報は、前記所定画像のうちの入力部への第1の操作に応じた領域の画像を表示可能とするための画像情報である、請求項1~請求項9のいずれかに記載のプログラム。
  13. プロセッサ、メモリ、入力部、および表示部を備える情報処理装置において実行される方法であって、
    所定画像のうち前記入力部への第1の操作に応じた第1の画像を特定するステップと、
    他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップと、
    前記表示部に表示する画像を、前記入力部に対する第2の操作に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップとを備え、
    前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信し、
    前記切り替えるステップは、前記表示部に前記第2の画像と異なる画像が表示されているときに、前記他の情報処理装置の入力部への操作の有無にかかわらず、前記情報処理装置の前記入力部に対して前記第2の操作が行われることにより、当該第2の操作が行われたタイミングで前記第2の画像へ切り替え可能である、方法。
  14. プロセッサ、メモリ、入力部、および表示部を備える情報処理装置において実行される方法であって、
    所定画像のうち前記入力部への第1の操作に応じた第1の画像を特定するステップと、
    他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップと、
    前記表示部に表示する画像を、前記入力部に対する第2の操作に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップとを備え、
    前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記情報処理装置の前記表示部に前記複数種類の画像のうちのいずれが表示されているかにかかわらず、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信する、方法。
  15. プロセッサ、メモリ、入力部、および表示部を備える情報処理装置であって、
    所定画像のうち前記入力部への第1の操作に応じた第1の画像を特定するステップと、
    他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップと、
    前記表示部に表示する画像を、前記入力部に対する第2の操作に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップとを備え、
    前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信し、
    前記切り替えるステップは、前記表示部に前記第2の画像と異なる画像が表示されているときに、前記他の情報処理装置の入力部への操作の有無にかかわらず、前記情報処理装置の前記入力部に対して前記第2の操作が行われることにより、当該第2の操作が行われたタイミングで前記第2の画像へ切り替え可能である、情報処理装置。
  16. プロセッサ、メモリ、入力部、および表示部を備える情報処理装置であって、
    所定画像のうち前記入力部への第1の操作に応じた第1の画像を特定するステップと、
    他の情報処理装置の入力部への第1の操作に応じて当該他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信するステップと、
    前記表示部に表示する画像を、前記入力部に対する第2の操作に応じて、前記所定画像のうち前記特定するステップにより特定される第1の画像と、前記受信するステップにより受信した情報から特定される第2の画像とを含む複数種類の画像のうちのいずれかに切り替えるステップとを備え、
    前記切り替えるステップにより前記複数種類の画像のうちのいずれかに切り替え可能な第1状態においては、前記情報処理装置の前記表示部に前記複数種類の画像のうちのいずれが表示されているかにかかわらず、前記第1の画像を前記他の情報処理装置において特定可能とするための処理を実行しない一方で前記受信するステップにより前記他の情報処理装置の表示部に表示し得る画像を特定可能とするための情報を受信する、情報処理装置。
JP2021047709A 2021-03-22 2021-03-22 プログラム、方法、および、情報処理装置 Pending JP2022146641A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021047709A JP2022146641A (ja) 2021-03-22 2021-03-22 プログラム、方法、および、情報処理装置
US18/282,512 US20240143265A1 (en) 2021-03-22 2022-03-10 Program, method, and information processing device
PCT/JP2022/010510 WO2022202353A1 (ja) 2021-03-22 2022-03-10 プログラム、方法、および、情報処理装置
EP22775145.0A EP4319143A1 (en) 2021-03-22 2022-03-10 Program, method, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021047709A JP2022146641A (ja) 2021-03-22 2021-03-22 プログラム、方法、および、情報処理装置

Publications (1)

Publication Number Publication Date
JP2022146641A true JP2022146641A (ja) 2022-10-05

Family

ID=83394948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021047709A Pending JP2022146641A (ja) 2021-03-22 2021-03-22 プログラム、方法、および、情報処理装置

Country Status (4)

Country Link
US (1) US20240143265A1 (ja)
EP (1) EP4319143A1 (ja)
JP (1) JP2022146641A (ja)
WO (1) WO2022202353A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012142679A (ja) * 2010-12-28 2012-07-26 Sanyo Electric Co Ltd テレビ電話装置
KR102013338B1 (ko) * 2013-02-04 2019-08-22 삼성전자 주식회사 서비스 페이지 공유 방법과 시스템 및 이를 지원하는 단말기
JP6409092B2 (ja) 2017-05-01 2018-10-17 Kddi株式会社 端末装置、端末間通信方法、および端末装置用プログラム
JP6722240B2 (ja) * 2018-08-10 2020-07-15 シャープ株式会社 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
JP6862030B1 (ja) * 2020-11-11 2021-04-21 株式会社アルファオメガ プログラム、方法、および、情報処理装置

Also Published As

Publication number Publication date
WO2022202353A1 (ja) 2022-09-29
EP4319143A1 (en) 2024-02-07
US20240143265A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US10277641B2 (en) Proximity session mobility extension
US11025679B2 (en) Visual communications
JP6097679B2 (ja) 端末間機能共有方法及びその端末
EP3114832B1 (en) Displaying video call data
EP2520065B1 (en) Screen sharing
EP2533491B1 (en) Proximity Session Mobility
JP5849484B2 (ja) 伝送端末、表示データ送信方法、プログラム、情報提供装置及び伝送システム
US8254532B2 (en) Network videoconference equipment and its method of proceeding network videoconference
JP2024515928A (ja) ページ遷移方法、装置、機器、記憶媒体及びプログラム製品
JP6126754B2 (ja) メッセージ伝送方法、メッセージ伝送装置、電子装置、プログラム、及び記録媒体
JP2004214934A (ja) プレゼンス情報処理端末及びプレゼンス情報処理用プログラム並びにプレゼンスサービス提供サーバ
JP6862030B1 (ja) プログラム、方法、および、情報処理装置
EP2061214A1 (en) Virtual terminal server, mobile communication terminal, communication control system, and communication control method
JP2012075024A (ja) 電子会議用端末装置、電子会議用端末装置における接続制御方法および接続制御プログラム
WO2022202353A1 (ja) プログラム、方法、および、情報処理装置
JP6861353B1 (ja) プログラム、方法、および、情報処理装置
JP2024053778A (ja) プログラム、および、情報処理装置
JP2005348144A (ja) 情報端末装置、共有メディアデータ提示方法、および共有メディアデータ提示プログラム
JP2008276309A (ja) コンテンツ表示システムおよびコンテンツ表示方法
JP4324134B2 (ja) 通信システムおよび通信端末装置
CA2791830C (en) Proximity session mobility extension
JP4060548B2 (ja) 遠隔監視制御システム及び制御サーバ
JP5729021B2 (ja) ユニファイドコミュニケーション装置、システム、方法及びプログラム
JP2022145452A (ja) 個別対話並行型テレビ会議方法
JP2007174253A (ja) Ip電話端末

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240326